CN117764455B - 一种数据的通用指标管理方法及系统 - Google Patents
一种数据的通用指标管理方法及系统 Download PDFInfo
- Publication number
- CN117764455B CN117764455B CN202311829111.9A CN202311829111A CN117764455B CN 117764455 B CN117764455 B CN 117764455B CN 202311829111 A CN202311829111 A CN 202311829111A CN 117764455 B CN117764455 B CN 117764455B
- Authority
- CN
- China
- Prior art keywords
- data
- index
- warehousing
- indexes
- different topics
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 34
- 238000004364 calculation method Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000010354 integration Effects 0.000 claims description 18
- 230000002159 abnormal effect Effects 0.000 claims description 15
- 230000005856 abnormality Effects 0.000 claims description 15
- 238000010276 construction Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000013523 data management Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例提供一种数据的通用指标管理方法及系统,所述方法包括:采集业务数据,生成对应的原子指标;结合预设的入仓策略,确定业务数据中的入仓数据,并基于入仓数据的数据属性对入仓数据进行主题划分,得到不同主题对应的入仓数据,整合不同主题入仓数据,确定不同主题对应的集市数据,对比不同主题的集市数据,整合不同主题的非统一指标口径;获取基本面统计的数据来源,以及数据来源对基本面统计的数据进行加工处理,得到对应的基础计算指标,基本面统计包括统一指标口径和非统一指标口径;接收指令信息,根据指令信息确定对应的指令主题,并根据指令主题调用对应的集市数据,并根据调用的集市数据计算对应的派生指标。
Description
技术领域
本发明涉及数据管理技术领域,尤其涉及一种数据的通用指标管理方法及系统。
背景技术
企业使用指标体系进行业务分析与决策的实践由来已久,指标,可以理解为衡量目标的量化参数。指标的构成包含度量、维度和维度属性。其中度量是数据表中的数值数据,是被聚合的统计值,也是聚合运算的结果。维度是度量的环境,用来反应业务的一类属性,这类属性的集合构成一个维度,如地理维度、时间维度。维度提供了业务指标对比、观察的角度。指标有多种分类方式,如按照测量对象分为:效率指标、营销指标、质量指标;也可以按照结果导向分为结果型指标和过程型指标。
传统的指标体系管理模式一般根据各部门的分析需求将指标就近分散地存储在多种数据管理和分析工具之中,包括关系型数据库、非关系型数据库、数据仓库、BI工具、计算引擎、业务系统指标库等。这种分散的管理模式造成了数据孤岛,进而带来指标定义不一致、指标开发重复、指标权限管理不清晰等问题。
发明内容
针对现有技术中存在的问题,本发明实施例提供一种数据的通用指标管理方法及系统。
本发明实施例提供一种数据的通用指标管理方法,包括:
采集源系统不同业务类型下对应的业务数据,基于所述业务数据,以及对应的宽表指标生成规则,生成对应的原子指标;
结合预设的入仓策略,确定所述业务数据中的入仓数据,并基于所述入仓数据的数据属性对所述入仓数据进行主题划分,得到不同主题对应的入仓数据,并对比不同主题的入仓数据,整合不同主题的统一指标口径;
整合不同主题所述入仓数据,并基于整合结果中的业务口径和共性数据确定不同主题对应的集市数据,对比不同主题的集市数据,整合不同主题的非统一指标口径;
获取基本面统计的数据来源,以及所述数据来源对基本面统计的数据进行加工处理,得到对应的基础计算指标,所述基本面统计包括统一指标口径和非统一指标口径;
接收指令信息,根据所述指令信息确定对应的指令主题,并根据所述指令主题调用对应的集市数据,并根据调用的集市数据计算对应的派生指标。
在其中一个实施例中,所述方法还包括:
对标准指标的指标数据进行数据标准化,并对标准化的指标数据进行一致性比对,根据比对差额确定对应的异常波动结果,所述标准指标包括原子指标、基础计算指标、派生指标;
当所述异常波动结果显示存在异常时,输出对应的异常指标数据。
在其中一个实施例中,所述方法还包括:
将所述原子指标保存至可拓展性宽表,将所述基础计算指标、派生指标保存至弱拓展性窄表或不可拓展窄表。
在其中一个实施例中,所述方法还包括:
在生成标准指标的过程中,获取对应的指标建设原则,并遵从对应的指标建设原则建立对应的标准指标,所述指标建设原则包括准入原则、指标命名原则、指标拆分和合并原则、同义不同名指标处理原则,所述标准指标包括原子指标、基础计算指标、派生指标。
在其中一个实施例中,所述方法还包括:
获取所述入仓数据的数据地址,根据所述数据地址对所述入仓数据进行基础主题分类;
获取所述基础主题分类中与包含业务关键词的业务主题分类,将所述业务主题分类的入仓数据进行关键词检索,并基于关键词检索结果进行进阶主题分类;
将所述基础主题分类对应的指标保存至弱拓展性窄表,将进阶主题分类对应的指标保存至不可拓展窄表。
本发明实施例提供一种数据的通用指标管理系统,包括:
采集模块,用于采集源系统不同业务类型下对应的业务数据,基于所述业务数据,以及对应的宽表指标生成规则,生成对应的原子指标;
入仓模块,用于结合预设的入仓策略,确定所述业务数据中的入仓数据,并基于所述入仓数据的数据属性对所述入仓数据进行主题划分,得到不同主题对应的入仓数据,并对比不同主题的入仓数据,整合不同主题的统一指标口径;
整合模块,用于整合不同主题所述入仓数据,并基于整合结果中的业务口径和共性数据确定不同主题对应的集市数据,对比不同主题的集市数据,整合不同主题的非统一指标口径;
加工模块,用于获取基本面统计的数据来源,以及所述数据来源对基本面统计的数据进行加工处理,得到对应的基础计算指标,所述基本面统计包括统一指标口径和非统一指标口径;
指令模块,用于接收指令信息,根据所述指令信息确定对应的指令主题,并根据所述指令主题调用对应的集市数据,并根据调用的集市数据计算对应的派生指标。
在其中一个实施例中,所述系统还包括:
波动模块,用于对标准指标的指标数据进行数据标准化,并对标准化的指标数据进行一致性比对,根据比对差额确定对应的异常波动结果,所述标准指标包括原子指标、基础计算指标、派生指标;
异常模块,用于当所述异常波动结果显示存在异常时,输出对应的异常指标数据。
在其中一个实施例中,所述系统还包括:
保存模块,用于将所述原子指标保存至可拓展性宽表,将所述基础计算指标、派生指标保存至弱拓展性窄表或不可拓展窄表。
本发明实施例提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述数据的通用指标管理方法的步骤。
本发明实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述数据的通用指标管理方法的步骤。
本发明实施例提供的一种数据的通用指标管理方法及系统,采集源系统不同业务类型下对应的业务数据,基于业务数据,以及对应的宽表指标生成规则,生成对应的原子指标;结合预设的入仓策略,确定业务数据中的入仓数据,并基于入仓数据的数据属性对入仓数据进行主题划分,得到不同主题对应的入仓数据,并对比不同主题的入仓数据,整合不同主题的统一指标口径;整合不同主题入仓数据,并基于整合结果中的业务口径和共性数据确定不同主题对应的集市数据,对比不同主题的集市数据,整合不同主题的非统一指标口径;获取基本面统计的数据来源,以及数据来源对基本面统计的数据进行加工处理,得到对应的基础计算指标,基本面统计包括统一指标口径和非统一指标口径;接收指令信息,根据指令信息确定对应的指令主题,并根据指令主题调用对应的集市数据,并根据调用的集市数据计算对应的派生指标。这样能够让指标加工过程整体大致依据数据的流向,采用串行的方式,在不同的模块中适量并行,建立对应的数据指标,有利于打通数据孤岛,统一指标口径,减少重复开发,提高指标加工效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种数据的通用指标管理方法的流程图;
图2为本发明实施例中一种数据流向的示意图;
图3为本发明实施例中一种历史数据计算波动阈值流程图;
图4为本发明实施例中一种数据的通用指标管理系统的结构图;
图5为本发明实施例中电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种数据的通用指标管理方法的流程示意图,如图1所示,本发明实施例提供了一种数据的通用指标管理方法,包括数据仓库和数据集市分层设计,对于数据仓库的数据处理步骤以及对于数据集市的数据整合步骤,具体包括以下步骤:
步骤S101,采集源系统不同业务类型下对应的业务数据,基于所述业务数据,以及对应的宽表指标生成规则,生成对应的原子指标。
具体地,在本实施例中,对于数据仓库的数据处理步骤可以进行分层,对于数据仓库的分层,不同用户可以根据对应的业务需求进行更细节的分层,在本实施例中,对于数据仓库的分层,可以基础的分为贴源模型层(ODS)、主题模型层(DWD)和共性加工层(DWS),其中,ODS层是数据仓库的准备区,是采集数据,为后续的DWD层提供基础原始数据的准备层,对于ODS层,早对数据仓库的数据处理步骤中,对于数据仓库的数据来源,源系统的相关业务数据,可以根据业务要求、业务类型预先制定对应的数据采集规则,在基于源系统对应的业务类型确定对应的采集规则后,对数据源的数据,经过抽取、洗净、传输,然后可以按照不同的源系统对应存储业务数据,在存储业务数据时,结合对应的宽表指标生成规则,生成对应的原子指标,其中,原子指标是宏观面的指标,一般用于明确业务的统计口径和计算逻辑,是基于用户的业务活动(即业务过程)创建的,用于统计业务活动中某一业务状况的数值,可叠加维度,存储方式可以以数据宽表的形式存储,将业务数据中不同的数据以列的形式存储。对于业务数据对于的宽表指标的具体类型,比如当业务领域属于金融类相关领域时,原子指标的相关指标可以包括整个金融类领域的相关指标,也可以包括本公司在整个领域内的宏观总指标,比如资产负债表、营收支出汇总表、资产规模、投放额度、核心一级资本充足率、风险加权资产等等一系列宏观指标。
步骤S102,结合预设的入仓策略,确定所述业务数据中的入仓数据,并基于所述入仓数据的数据属性对所述入仓数据进行主题划分,得到不同主题对应的入仓数据,并对比不同主题的入仓数据,整合不同主题的统一指标口径。
具体地,对于DWD层,采用自下而上的方式建设,第一步以业务数据作为驱动,详细分析各源系统业务数据,理清企业的数据要素,识别有价值的业务数据完成入仓,第二步则根据业务数据的价值属性进行主题划分,完成基础实体和关联实体和信息模型设计。在实现入仓数据的入仓后,可以对比不同主题的入仓数据,整合不同主题之间的统一指标口径,其中,比如当业务领域属于金融类相关领域时,统一指标口径可以为在公司层面的,对于各个主体都达成统一的标签口径,比如对于客户、部门机构、产品的统一标签等。在结合入仓策略确定业务数据中能够完成入仓的入仓数据后,识别入仓数据的数据属性,比如数据价值等关联属性,对入仓数据进行主题划分,得到不同主题的入仓数据后,对比不同主题的入仓数据,确定不同主题的入仓数据中,存在重合的统一指标口径,并进行统一整合。
步骤S103,整合不同主题所述入仓数据,并基于整合结果中的业务口径和共性数据确定不同主题对应的集市数据,对比不同主题的集市数据,整合不同主题的非统一指标口径。
具体地,对于入仓数据的主题的划分,可以获取数据属性,基于数据属性对入仓数据进行主题划分,其中,数据属性可以包括数据维度、数据事实、数据粒度等属性,然后进行主题划分。主题的划分步骤可以包括将ODS贴源模型层的公司源系统业务数据按人(机构)、物、场景、协议等拆解整合汇聚到主题中,即将公司内的所有业务数据,根据类型的不同进行拆解并整合,比如对于客户主题的数据,进行主题数据的整合,对于协议主题的数据,进行主题数据整合,并且,在不同主题之下,还包括下一级主题,比如客户主题还包括客户信息报表、客户联系人、客户证件信息等等下一级主题。该层主要对公司源系统业务数据进行数据标准化,包括对字段中英文名、数据格式、数据类型的标准化落地。对于不同系统中同类型的业务范畴,可整合加工到同一主题模型中,比如不仅是公司源系统的业务数据中包含客户数据,在关联云系统,关联公司系统中也包括客户数据,如果存在客户数据,同样可以进行整合加工。该层起着缓冲稳固数仓模型的作用,源系统业务复杂多变,但该层模型不会轻易变化,从而大大降低对下游模型的影响。另外,对于DWS层,DWS共性加工层延续了DWD层主题的划分,其主要将不同主题模型层的数据汇整成一张宽表,加工公用类数据,使得下游应用系统统一口径取数,该层模型不直接面向应用,以提炼公司层面统一业务口径和共性信息为主。具体可以包括基于入仓数据对应的主题,结合业务类型确定对应的共性模型,其中,共性模型可以为主题树状图或者主题表格等形式,包含多个等级的主题以及主题数据的准入标准,依据统一数据标准进行数据转换、数据聚合,得到对应的数据表;基于数据表,结合本地数据,生成对应的业务口径和共性数据,其中,业务口径包含对应主题数据的准入标准,共性数据则为数据之间的存在共性主题的共性数据。对于其中业务模型的构建规则,通常可以获取业务目标,以业务目标与业务数据的归纳结果为导向,进行业务模型的模型训练,并在模型训练的过程中统计业务双方的业务共性需求,根据业务共性需求构建共性模型,从而保证训练得到的共性模型能够满足业务双方的业务共性需求。
在获取到不同主题对应的集市数据后,整合在不同的的主题下,对应的非统一指标口径,主题中包含统一指标口径,即主题下的所有下一级主题共有的指标口径,比如客户主题下的客户身份信息主题,也包含非同一指标口径,即主题下的下一级主题的非共有的指标口径,比如客户主题下的客户VIP身份信息主题,对应的指标口径并不统一,存在独立性,其中,非同一指标孔径可以包括,比如当业务领域属于金融类相关领域时,非统一指标口径可以为在客户层面的,针对不同客户,在部门机构层面的,针对不同部门机构,以及产品层面的,针对不同产品的非统一的独立特殊标签。
步骤S104,获取基本面统计的数据来源,以及所述数据来源对基本面统计的数据进行加工处理,得到对应的基础计算指标,所述基本面统计包括统一指标口径和非统一指标口径。
具体地,在确定基本面统计的数据来源,即统一指标口径和非统一指标口径后,对数据进行整合、过滤、生成规则生成等一系列处理之后,得到对应的基础计算指标,其中在进行指标生成时,应该遵从相关的生成规则,生成规则可以比如指标的准入原则,在定义指标标准时,应衡量指标的适用性和可行性,只有符合公用性、可行性的指标,才可以生成;指标命名原则,可以分为外部指标和内部指标,外部指标命名时应该参考大数据命名,内部指标命名时可以根据数据来源进行特殊命名;指标拆分和合并原则,为避免指标的重复定义、保持指标粗细粒度的基本一致且较为合适,需要对原始指标进行合并或拆分;同义不同名指标处理,指标来源多个监管报送、使用场景不同、命名偏好不同,导致实际上具有相同业务定义和统计口径的指标名称不同。对于该类指标需要判断其业务定义和口径是否相同,如相同,则将多个应用指标作为一个指标处理,并确定一个最常用的指标名称作为指标标准的名称,其他名称作为该指标的常用名称。
步骤S105,接收指令信息,根据所述指令信息确定对应的指令主题,并根据所述指令主题调用对应的集市数据,并根据调用的集市数据计算对应的派生指标。
具体地,在本实施例中,对于数据集市的数据整合步骤不同用户可以根据对应的业务需求进行更细节的分层,数据集市主要面向业务应用需求,按照业务领域及特定的个性化需求开展数据集市的建设,其整体建设原则是,继承数据仓库的共性模型,衍生发展集市各自业务领域的共性属性,并面向具体应用定制化开发相关需求。在本实施例中,数据集市分为基础加工层、明细处理层、应用汇总层。其中,总的来说,明细处理层则更贴向于下游应用,以码值转换及定制化性能优化为主,同时涉及下游报表下钻展示的明细加工数据也可在该层处理;应用汇总层则直接面向应用定制化报表和统计汇总需求,以方便下游使用为主。对于集市数据在下游使用时,根据不同的指令信息,可能需要生成与指令信息对应的派生指标,派生指标是基础计算指标中没有的针对指令信息的指标,比如基础计算指标中无法对指令信息的所有数据进行指标确定,即指令信息中包含某些数据无法通过基础计算指标进行转化,则集市数据根据无法转化的数据生成与数据信息对应的派生指标,通常在接收到指令信息后生成,生成的步骤可以比如基于基础的原子指标和基础计算派生指标,通过一定运算规则形成的计算指标集合,不可叠加维度。
另外,在上述原子指标、基础计算指标和派生指标生成后,可以采用宽窄表的形式存储,为每个指标赋予唯一编码。根据指标的分类准则,对宽表的原子指标可叠加维度和添加修饰词,因此将原子指标定位为A类,将基础计算指标和派生指标定义分别定义为1B类和2B类。由于A类指标的可拓展性较强,因此将每个A类指标存储在宽表中;而1B类和2B类指标几乎不会拓展,因此分别将若干个1B类和2B类指标存储在一张小窄表中。
本发明实施例提供的一种数据的通用指标管理方法,采集源系统不同业务类型下对应的业务数据,基于业务数据,以及对应的宽表指标生成规则,生成对应的原子指标;结合预设的入仓策略,确定业务数据中的入仓数据,并基于入仓数据的数据属性对入仓数据进行主题划分,得到不同主题对应的入仓数据,并对比不同主题的入仓数据,整合不同主题的统一指标口径;整合不同主题入仓数据,并基于整合结果中的业务口径和共性数据确定不同主题对应的集市数据,对比不同主题的集市数据,整合不同主题的非统一指标口径;获取基本面统计的数据来源,以及数据来源对基本面统计的数据进行加工处理,得到对应的基础计算指标,基本面统计包括统一指标口径和非统一指标口径;接收指令信息,根据指令信息确定对应的指令主题,并根据指令主题调用对应的集市数据,并根据调用的集市数据计算对应的派生指标。
本实施例中,数据的大致流向图如图2所示,本实施例中的通用指标管理方法能够让指标加工过程整体大致依据数据的流向,采用串行的方式,在不同的模块中适量并行,有利于打通数据孤岛,统一指标口径,减少重复开发,提高指标加工效率。
在另一实施例中,提供一种数据的通用指标管理方法,包括:
对标准指标的指标数据进行数据标准化,并对标准化的指标数据进行一致性比对,根据比对差额确定对应的异常波动结果,所述标准指标包括原子指标、基础计算指标、派生指标;
当所述异常波动结果显示存在异常时,输出对应的异常指标数据。
在本实施例中,为避免业务口径错误、系统错误数据给指标加工带来的风险,构建指标波动监测方案。方案的具体步骤可以包括:数据整合:将前台和后台的所有指标数据统一存储为窄表的形式,并标注指标来源;数据标准化:将所有指标数据处理为相同格式和单位;数据计算:数据一致性比对,输出有差异的指标结果;按配置的规则计算出结果数据,将差额数据和其比对,输出异常波动结果另外,指标波动监测方案能够沉淀历史数据,未来可基于历史数据进行分析和预测,挖掘潜藏的数据价值,辅助决策。
指标波动的场景可大致划分为以下四种:
1、指标一致性监测。比对各报表间的指标数值是否一致,防止错位取数的情况或刷数导致的数据不一致问题。
2、历史数据辅助进行指标异常波动监测。选取一定时间范围内的数据,根据算法计算体现波动相关值。例如:选取以往6期数据,算出每期指标上限与指标下限的波动值,求其众数、中位数、平均数等,算出波动震荡区间,波动上限值,波动下限值,历史数据计算波动阈值流程图如图3所示,计算本期数据波动数值以及去年每个月的数据波动数值,然后从去年每个月的正负值中取平均值构建上下限,与本期波动数值进行对比,判断是否存在异常波动。
3、0到有值、有值到0的变化监测:防止业务未上线但错误取数的情况,或业务异常终止情况。
图4为本发明实施例提供的一种数据的通用指标管理系统,包括:采集模块S201、入仓模块S202、整合模块S203、加工模块S204、指令模块S205,其中:
采集模块S201,用于采集源系统不同业务类型下对应的业务数据,基于所述业务数据,以及对应的宽表指标生成规则,生成对应的原子指标;
入仓模块S202,用于结合预设的入仓策略,确定所述业务数据中的入仓数据,并基于所述入仓数据的数据属性对所述入仓数据进行主题划分,得到不同主题对应的入仓数据,并对比不同主题的入仓数据,整合不同主题的统一指标口径;
整合模块S203,用于整合不同主题所述入仓数据,并基于整合结果中的业务口径和共性数据确定不同主题对应的集市数据,对比不同主题的集市数据,整合不同主题的非统一指标口径;
加工模块S204,用于获取基本面统计的数据来源,以及所述数据来源对基本面统计的数据进行加工处理,得到对应的基础计算指标,所述基本面统计包括统一指标口径和非统一指标口径;
指令模块S205,用于接收指令信息,根据所述指令信息确定对应的指令主题,并根据所述指令主题调用对应的集市数据,并根据调用的集市数据计算对应的派生指标。
在其中一个实施例中,所述系统还包括:
波动模块,用于对标准指标的指标数据进行数据标准化,并对标准化的指标数据进行一致性比对,根据比对差额确定对应的异常波动结果,所述标准指标包括原子指标、基础计算指标、派生指标;
异常模块,用于当所述异常波动结果显示存在异常时,输出对应的异常指标数据。
在其中一个实施例中,所述系统还包括:
保存模块,用于将所述原子指标保存至可拓展性宽表,将所述基础计算指标、派生指标保存至弱拓展性窄表或不可拓展窄表。
关于数据的通用指标管理系统的具体限定可以参见上文中对于数据的通用指标管理方法的限定,在此不再赘述。上述数据的通用指标管理系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
图5示例了一种电子设备的实体结构示意图,如图5所示,该电子设备可以包括:处理器(processor)301、存储器(memory)302、通信接口(Communications Interface)303和通信总线304,其中,处理器301,存储器302,通信接口303通过通信总线304完成相互间的通信。处理器301可以调用存储器302中的逻辑指令,以执行如下方法:采集源系统不同业务类型下对应的业务数据,基于业务数据,以及对应的宽表指标生成规则,生成对应的原子指标;结合预设的入仓策略,确定业务数据中的入仓数据,并基于入仓数据的数据属性对入仓数据进行主题划分,得到不同主题对应的入仓数据,并对比不同主题的入仓数据,整合不同主题的统一指标口径;整合不同主题入仓数据,并基于整合结果中的业务口径和共性数据确定不同主题对应的集市数据,对比不同主题的集市数据,整合不同主题的非统一指标口径;获取基本面统计的数据来源,以及数据来源对基本面统计的数据进行加工处理,得到对应的基础计算指标,基本面统计包括统一指标口径和非统一指标口径;接收指令信息,根据指令信息确定对应的指令主题,并根据指令主题调用对应的集市数据,并根据调用的集市数据计算对应的派生指标。
此外,上述的存储器302中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法,例如包括:采集源系统不同业务类型下对应的业务数据,基于业务数据,以及对应的宽表指标生成规则,生成对应的原子指标;结合预设的入仓策略,确定业务数据中的入仓数据,并基于入仓数据的数据属性对入仓数据进行主题划分,得到不同主题对应的入仓数据,并对比不同主题的入仓数据,整合不同主题的统一指标口径;整合不同主题入仓数据,并基于整合结果中的业务口径和共性数据确定不同主题对应的集市数据,对比不同主题的集市数据,整合不同主题的非统一指标口径;获取基本面统计的数据来源,以及数据来源对基本面统计的数据进行加工处理,得到对应的基础计算指标,基本面统计包括统一指标口径和非统一指标口径;接收指令信息,根据指令信息确定对应的指令主题,并根据指令主题调用对应的集市数据,并根据调用的集市数据计算对应的派生指标。
以上所描述的系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种数据的通用指标管理方法,其特征在于,包括:
采集源系统不同业务类型下对应的业务数据,基于所述业务数据,以及对应的宽表指标生成规则,生成对应的原子指标;
结合预设的入仓策略,确定所述业务数据中的入仓数据,并基于所述入仓数据的数据属性对所述入仓数据进行主题划分,得到不同主题对应的入仓数据,并对比不同主题的入仓数据,整合不同主题的统一指标口径;
整合不同主题所述入仓数据,并基于整合结果中的业务口径和共性数据确定不同主题对应的集市数据,对比不同主题的集市数据,整合不同主题的非统一指标口径;
获取基本面统计的数据来源,以及所述数据来源对基本面统计的数据进行加工处理,得到对应的基础计算指标,所述基本面统计包括统一指标口径和非统一指标口径;
接收指令信息,根据所述指令信息确定对应的指令主题,并根据所述指令主题调用对应的集市数据,并根据调用的集市数据计算对应的派生指标。
2.根据权利要求1所述的数据的通用指标管理方法,其特征在于,所述方法还包括:
对标准指标的指标数据进行数据标准化,并对标准化的指标数据进行一致性比对,根据比对差额确定对应的异常波动结果,所述标准指标包括原子指标、基础计算指标、派生指标;
当所述异常波动结果显示存在异常时,输出对应的异常指标数据。
3.根据权利要求1所述的数据的通用指标管理方法,其特征在于,所述主题划分,包括:
将所述原子指标保存至可拓展性宽表,将所述基础计算指标、派生指标保存至弱拓展性窄表或不可拓展窄表。
4.根据权利要求3所述的数据的通用指标管理方法,其特征在于,所述主题划分,包括:
在生成标准指标的过程中,获取对应的指标建设原则,并遵从对应的指标建设原则建立对应的标准指标,所述指标建设原则包括准入原则、指标命名原则、指标拆分和合并原则、同义不同名指标处理原则,所述标准指标包括原子指标、基础计算指标、派生指标。
5.根据权利要求3所述的数据的通用指标管理方法,其特征在于,所述方法还包括:
获取所述入仓数据的数据地址,根据所述数据地址对所述入仓数据进行基础主题分类;
获取所述基础主题分类中包含业务关键词的业务主题分类,将所述业务主题分类的入仓数据进行关键词检索,并基于关键词检索结果进行进阶主题分类;
将所述基础主题分类对应的指标保存至弱拓展性窄表,将进阶主题分类对应的指标保存至不可拓展窄表。
6.一种数据的通用指标管理系统,其特征在于,所述系统包括:
采集模块,用于采集源系统不同业务类型下对应的业务数据,基于所述业务数据,以及对应的宽表指标生成规则,生成对应的原子指标;
入仓模块,用于结合预设的入仓策略,确定所述业务数据中的入仓数据,并基于所述入仓数据的数据属性对所述入仓数据进行主题划分,得到不同主题对应的入仓数据,并对比不同主题的入仓数据,整合不同主题的统一指标口径;
整合模块,用于整合不同主题所述入仓数据,并基于整合结果中的业务口径和共性数据确定不同主题对应的集市数据,对比不同主题的集市数据,整合不同主题的非统一指标口径;
加工模块,用于获取基本面统计的数据来源,以及所述数据来源对基本面统计的数据进行加工处理,得到对应的基础计算指标,所述基本面统计包括统一指标口径和非统一指标口径;
指令模块,用于接收指令信息,根据所述指令信息确定对应的指令主题,并根据所述指令主题调用对应的集市数据,并根据调用的集市数据计算对应的派生指标。
7.根据权利要求6所述的数据的通用指标管理系统,其特征在于,所述系统还包括:
波动模块,用于对标准指标的指标数据进行数据标准化,并对标准化的指标数据进行一致性比对,根据比对差额确定对应的异常波动结果,所述标准指标包括原子指标、基础计算指标、派生指标;
异常模块,用于当所述异常波动结果显示存在异常时,输出对应的异常指标数据。
8.根据权利要求6所述的数据的通用指标管理系统,其特征在于,所述系统还包括:
保存模块,用于将所述原子指标保存至可拓展性宽表,将所述基础计算指标、派生指标保存至弱拓展性窄表或不可拓展窄表。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至5任一项所述数据的通用指标管理方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至5任一项所述数据的通用指标管理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311829111.9A CN117764455B (zh) | 2023-12-27 | 2023-12-27 | 一种数据的通用指标管理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311829111.9A CN117764455B (zh) | 2023-12-27 | 2023-12-27 | 一种数据的通用指标管理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117764455A CN117764455A (zh) | 2024-03-26 |
CN117764455B true CN117764455B (zh) | 2024-05-17 |
Family
ID=90319821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311829111.9A Active CN117764455B (zh) | 2023-12-27 | 2023-12-27 | 一种数据的通用指标管理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117764455B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140135277A (ko) * | 2013-05-10 | 2014-11-26 | 중소기업은행 | 데이터 웨어하우스 시스템 및 그 구축 방법 |
CN106294521A (zh) * | 2015-06-12 | 2017-01-04 | 交通银行股份有限公司 | 数据存储方法及数据仓库系统 |
WO2018107610A1 (zh) * | 2016-12-15 | 2018-06-21 | 平安科技(深圳)有限公司 | 业务数据处理方法、系统、设备及计算机可读存储介质 |
CN115391312A (zh) * | 2022-08-31 | 2022-11-25 | 中国银行股份有限公司 | 一种基于数据仓库的指标处理方法及系统 |
-
2023
- 2023-12-27 CN CN202311829111.9A patent/CN117764455B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140135277A (ko) * | 2013-05-10 | 2014-11-26 | 중소기업은행 | 데이터 웨어하우스 시스템 및 그 구축 방법 |
CN106294521A (zh) * | 2015-06-12 | 2017-01-04 | 交通银行股份有限公司 | 数据存储方法及数据仓库系统 |
WO2018107610A1 (zh) * | 2016-12-15 | 2018-06-21 | 平安科技(深圳)有限公司 | 业务数据处理方法、系统、设备及计算机可读存储介质 |
CN115391312A (zh) * | 2022-08-31 | 2022-11-25 | 中国银行股份有限公司 | 一种基于数据仓库的指标处理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117764455A (zh) | 2024-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112699175B (zh) | 一种数据治理系统及其方法 | |
Rowe et al. | Automated social hierarchy detection through email network analysis | |
US10031829B2 (en) | Method and system for it resources performance analysis | |
CN105868373B (zh) | 电力业务信息系统关键数据处理方法及装置 | |
CN108876034B (zh) | 一种改进的Lasso+RBF神经网络组合预测方法 | |
CN106682097A (zh) | 一种处理日志数据的方法和装置 | |
CN110008201A (zh) | 一种面向大数据的数据质量稽核监控方法 | |
CN112000849A (zh) | 统一标签库管理方法、装置、设备及存储介质 | |
US11119989B1 (en) | Data aggregation with schema enforcement | |
WO2023108967A1 (zh) | 基于隐私保护计算和跨组织的联合信用评分方法及装置 | |
CN111159161A (zh) | 基于etl规则的数据质量监控及预警系统和方法 | |
US11928100B2 (en) | Method and system for creating a unified data repository | |
CN116126843A (zh) | 一种数据质量评估方法、装置、电子设备和存储介质 | |
CN112631889B (zh) | 针对应用系统的画像方法、装置、设备及可读存储介质 | |
CN106779245B (zh) | 基于事件的民航需求预测方法和装置 | |
US11227288B1 (en) | Systems and methods for integration of disparate data feeds for unified data monitoring | |
CN110502529B (zh) | 数据处理方法、装置、服务器及存储介质 | |
CN117764455B (zh) | 一种数据的通用指标管理方法及系统 | |
CN112416904A (zh) | 电力数据规范化处理方法及装置 | |
CN110175113B (zh) | 业务场景确定方法和装置 | |
CN116483822A (zh) | 业务数据预警方法、装置、计算机设备、存储介质 | |
CN114757448B (zh) | 一种基于数据空间模型的制造环节间最优价值链构建方法 | |
CN111291029B (zh) | 数据清洗方法及装置 | |
CN114911769A (zh) | 支持自定义动态标签构建的数据管理方法和系统 | |
CN114490571A (zh) | 一种建模方法、服务器及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |