CN114791933B - 一种主数据处理方法、基于主数据的交互方法和系统 - Google Patents

Abstract

一种主数据处理方法、基于主数据的交互方法和系统，涉及大数据处理技术领域，其中主数据处理方法包括：构建对象管理模型，包括对象属性以及与其他对象的关联关系；构建基于所述对象管理模型控制的接口核验处理路径，接收ETL将数据映射成所述对象管理模型中的对象实例后的处理数据，以所述对象管理模型进行核验接收：生成对象基线表，储存于第一数据库；生成与所述对象基线表对应的对象数据表，存于第二数据库；每一次接收ETL处理数据，均根据所述对象管理模型生成带有基线版本的对象基线表，与当前对象基线表基线版本相同的对象数据表。该方案构建主数据模型下的数据处理，在数据ETL传入时即完成数据各个维度的坐标标注。

Description

一种主数据处理方法、基于主数据的交互方法和系统

技术领域

本发明涉及数据处理领域，尤其涉及一种主数据处理方法、基于主数据的交互方法和系统。

背景技术

目前，行业中流行的主流数据可视化工具（报表类）都需要大量的人工维护数据关系（数据血缘关系和业务聚合关系）来实现数据的钻取分析，其中，数据血缘关系主要指数据的处理和计算血缘，包括流水表数据和汇总结果的关系等等，已成为数据质量管理的必要抓手。由于业务持久的动态变化，数据血缘也随之变化，在数据仓库场景下，如果人工进行字段级的准确数据血缘关系，会消耗大量的维护人力和管理成本，一旦关系更新不及时往往会带来很多分析上的错误影响，人工维护的滞后性也满足不了进一步数据运维自动化的要求。

同时系统的用户和维护工程师需要对于数据库表结构、数据字段的定义、数据口径非常熟悉，相关的知识需要在系统外通过文档或者口口相传，进一步制约数据的价值挖掘和应用。

发明内容

本发明针对现有技术中的缺点，构建主数据处理方法，构建模型在数据传入时即完成数据维度的分析。

为了解决上述技术问题，本发明通过下述技术方案得以解决：

一种主数据处理方法，包括以下步骤：

构建对象管理模型，包括对象属性以及与其他对象的关联关系；

构建基于所述对象管理模型控制的接口核验处理路径，接收ETL将数据映射成所述对象管理模型中的对象实例后的处理数据，以所述对象管理模型进行核验接收：生成对象基线表，储存于第一数据库；生成与所述对象基线表对应的对象数据表，存于第二数据库；

每一次接收ETL处理数据，均根据所述对象管理模型生成带有基线版本的对象基线表，与当前对象基线表的基线版本相同的对象数据表。

优选的，还包括步骤：

当ETL处理时根据已构建的对象管理模型映射完成后将数据传输给数据接口核验时，识别对象属性以及与其他对象的关联关系的数据变化，根据所述数据变化自动创建新的对象基线版本数据。

优选的，每一次接收的同一批处理数据中的所有指标作为最小指标集赋予坐标信息，所述坐标信息包括时间坐标，以及根据所述对象基线表确定的所述最小指标集所属对象、相关对象的属性以及与其他对象的关联关系。

优选的，根据对象ID将最新版本的对象基线数据缓存在内存数据库中。

进一步提供一种基于主数据的交互方法，所述主数据为所述的主数据处理方法中得到的主数据，具体包括以下步骤：

创建若干汇总路径模型，根据所述汇总路径模型的汇总路径以及汇总路径上的节点所对应的对象管理模型生成汇总对象，系统根据汇总对象上携带的对应维度的坐标信息生成对应的数据存储字典表和数据存储表。

优选的，根据业务场景中指标和指标的业务团簇关系配置专题模型；

响应于数据钻取操作，传入被管理对象、指标和时间，根据所述被管理对象、指标和时间选择对应的专题模型，根据所述专题模型所对应的业务团簇关系，查看主数据模型中的坐标体系，获取关联指标数据，并展示。

优选的，还包括基于坐标系的查询交互方法：响应于指标数据钻取触发，根据主数据模型配置的坐标系选择需要展示的不同维度的指标数据。

优选的，还包括坐标查询和坐标体系查询：

响应于坐标查询，反馈已配置的坐标信息；

响应于坐标体系查询，反馈已配置的坐标纬度、坐标范围和粒度。

基于上述一种主数据处理方法，提供一种ETL系统，包括：

数据加工单元，用于生成将源数据映射成所述对象管理模型中的对象实例，得到所述主数据处理方法中的ETL处理数据；

输入单元，连接源数据接口；

输出单元，连接主数据库输入接口，所述输入接口配置基于对象管理模型的接口协议。

本发明的有益效果：

1）本发明公开了一种主数据模型核心思想，在将数据对象化后以n维坐标化来组织数据，并按照数据的原生属性来做聚合管理，实现效率和成本的最优平衡。

对比目前市场上常见的报表和数据钻取工具，缺陷主要是需要大量的人工配置来预制数据可钻取的路径和方向，等同于预先配置好了很多SQL，选择性执行，是一种流程和算法的过程。维护成本非常高，而且随着业务的变化，这些维护工作往往滞后。而且人工维护工作中需要对于数据库表结构、数据字段的定义、数据口径非常熟悉，相关的知识需要在系统外通过文档或者口口相传，进一步制约数据的价值挖掘和应用。

本发明公开的方案，其在数据入库阶段就将所有数据进行了坐标化处理，系统在后续查询和访问数据时不需要再编辑SQL语句，无需编写ETL脚本，无需预先了解数据库表结构，字段位置，只需要告诉服务端所需数据的坐标，同时由于对于数据的坐标化管理，使数据分析场景中，在维度和维度的坐标系上变化时（比如从天钻取到小时，从行政区层级钻取），通过坐标进行数据操作非常的便捷和低成本，不再需要预先对于每个钻取路径维护一堆东西，这些路径已经可以自动产生。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是主数据模型的示意图；

图2是ETL到主数据的转化过程示意图；

图3是对象基线表和对象数据表的示意图；

图4是汇总路径模型的示意图；

图5是查询引擎的查询功能示意图；

图6是存储字典表和数据存储表的示意图；

图7是根据不同维度进行数据钻取示意图；

图8是根据已配置的专题进行专题钻取示意图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。

下文所述“系统”，为接收ETL处理数据的处理系统，本文公开的交互方法均在该系统中执行。

实施例1

一种基于主数据模型的数据交互方法，首先公开一种基于主数据模型的构建方法，如图1，构建作为指标数据的多维度投影，包括：

时间维度，可以定义指标每小时、每天、每周、每月的结果值；

空间维度，可以定义指标在某行政区、某分支机构或某具体地理位置的结果值；

公式维度，可以定义指标的二次计算结果值；

除上述维度以外还可以配置其他维度，不做一一举例。

则可以知道地是，一个指标数据具备对应的时间维度、空间维度或公式维度的坐标信息，例如“A行政区”、“3月”、“10:00”、“存款”； “xx市”、“经度xx”，“纬度xx”的5G基站；“3月10日”、“24小时”、“话务量指标”，在本方案中并不排除其他维度的坐标信息。

综上，即通过赋予每个指标数据其维度坐标信息，将所有数据投射到一个统一的坐标系中，以使系统可以通过坐标快速找到需要数据。

具体实现方法包括：

1）构建对象管理模型，包括对象属性以及与其他对象的关联关系；

2）系统接收ETL传来数据，配置基于所述对象管理模型控制的接口核验处理路径；接收的ETL传来数据需要经过ETL处理，即将源数据映射成对象管理模型中的对象实例，并从源数据中自动发现对象的父子关系并根据对象管理模型进行对应增、删、改。

该接口核验处理路径根据以所述对象管理模型进行核验接收，核验通过则生成对象基线表，储存于第一数据库；生成与所述对象基线表对应的对象数据表，存于第二数据库。

每一次接收ETL传来数据，系统均根据所述对象管理模型生成带有基线版本的对象基线表，与当前对象基线表的基线版本相同的对象数据表。

作为一种优选方案，每一次接收ETL传来数据，系统均根据所述对象管理模型生成带有时间戳的对象基线表，与当前对象基线表时间戳相同的对象数据表，参考图3。

即，当ETL根据已构建的对象管理模型映射完成后将数据传输给数据接口核验时，识别对象属性和其他对象的关联关系的数据变化，根据所述数据变化自动创建新的对象基线版本数据。即会生成新的原始对象（和下文的汇总对象相区分）。

可以理解为将ETL传来数据根据每一次的采集时间和对象管理模型将数据进行基线化切片。以空间信息为例，将对象的空间信息进行基线化处理，每一次数据采集均记录时间、该时间下的空间信息变化（如对象属性中的经纬度坐标从A变更为B）。

具体操作包括：系统首先会将当前采集到的时间切片对象数据与系统中的已存储的对象基线表中最后一个基线的对象数据进行比较，如果发现某些对象的属性或关联关系已经发生变化，则只针对这些对象新增新的基线的记录，同步完成后，系统内存数据库中缓存的最新对象信息将被同步刷新（只保留最新基线）。对象数据表中的指标数据按照对象ID和时间信息存入第二数据库。

只更新变化的基线记录，以及只保留最新基线的操作同时也可以减少IO操作提升性能。

作为一种优选的实施方式，对象基线表存储在关系型数据库，对象数据表存储在列式数据库。

作为一种优选的实施方式，根据对象ID将最新版本的对象基线数据缓存在内存数据库中。

作为一种优选的实施方式，考虑到指标数据庞大，对象的指标数据以数据集的形式存在，对数据集标注坐标，所述数据集来源于同一批ETL处理的数据。具体操作包括：每一次接收的同一批处理数据中的所有指标作为最小指标集赋予坐标信息，所述坐标信息包括时间坐标，以及根据所述对象基线表确定的所述最小指标集所属对象、相关对象的属性以及与其他对象的关联关系。

基于上述步骤，可以认为完成了主数据模型的构建，该步骤区别于现有技术的优势在于，在传入时间即通过ETL进行模型映射，随后在传入时通过配置好的API接口执行核验，将符合模型要求的数据传入，并在传入时生成基于对象管理模型的对象基线表，以及与该基线表对应的对象数据表存储对应指标数据。

进一步需要说明的是，本方案中的对象基线表区别于现有技术的基线表在于：本方案以主数据模型驱动，自动化地在ETL过程中实现源数据和主数据模型之间的映射和比对，实现对象自动发现和对象版本管理。

基于该对象基线表形成的对象数据表存储对应指标数据天然的形成了关于时间坐标，即理解为携带对象相关指标的时间信息，将该对象的相关指标进行时间切片，后续可以根据时间坐标进行指标数据快速查询。

现有技术中的相关根据日期来设计模型的方法，都是依赖于已经形成的数据仓库，一般是先采集用户上传的业务数据，进行ETL处理后加载到数据仓库中，并对数据仓库内新增业务数据和已有业务数据进行预处理，然后对预处理后的业务数据和业务数据对应的元数据进行属性识别，再构建相关的分析框架……可以知道的是，现有技术中的数据仓库均是在一个传统的框架中执行数据分析的逻辑。其数据仓库中接收的还是传统ETL简单处理后的数据，然后对这些数据执行各种属性识别、确定数据分析力度和不同数据的展现维度，根据这些维度和时间的去求再去创建一个展示的数据模型，系统根据日期维度再去调取相关数据后进行展示。在没有主数据模型和数据坐标化两个架构能力的支撑下的传统方案，所有的数据钻取和分析功能只能是预先通过人工介入进行相应的数据查询逻辑配置的，对于用户的能力要求高，要求用户预先学习数据仓库中的数据字典信息，并熟知数据口径定义，并且这些能力只能通过文档和口头在用户之间传递，而本方案的本质差异是系统自动承载了数据关系和数据坐标的定义，用户不需要再去记忆数据字典和分析路径，大大降低了用户成本。

实施例2

本实施例公开的是一种基于上述主数据的数据交互的应用方式，包括创建若干汇总路径模型，根据所述汇总路径模型的汇总路径以及汇总路径上的节点所对应的对象管理模型生成汇总对象，系统根据汇总对象上携带的对应维度的坐标信息生成对应的数据存储字典表和数据存储表。

如图4，以空间坐标信息的汇总路径为例，创建客户类（对象）在区à市的某指标数据的汇总和展示，形成一汇总路径模型。在创建的汇总路径模型上的空间维度的实体（如xx区、xx市），将自动转化为新的汇总对象（区别于原始对象）。

则在完成汇总路径模型的创建后，对于汇总对象，如图5，均自动生成对应的数据存储字典表和创建对应的数据存储表。生成方式为：系统在每一个汇总路径上节点的节点任务参照实施例1中公开的对象基线表进行查询，查询后根据汇总路径生成数据存储字典表和创建对应的数据存储表。

进一步以公式坐标信息为例，指标公式坐标信息是对象管理模型的一个部分，归属于某些对象类，独立保存在对象指标定义表中，公式计算作为一种特殊的汇总路径节点，触发时进行相应指标公式的计算，并将结果存储到对应的归属对象维度数据表里。

作为一种优选的交互方式，公开一种基于坐标系的查询交互方法，如图7所示，响应于指标数据钻取触发，根据主数据模型配置的坐标系选择需要展示的不同维度的指标数据。

例如：选择某一单元格的数据，首先根据其自带的坐标信息触发展示具体维度的指标数据。例如，当前选择的数据是：对象xx，指标xx，维度信息具体为：某时间，某机构的某支行的指标数据。

根据已配置的主数据模型，可以展示对应的不同维度的坐标系供选择，例如时间维度的坐标系包括天、周、月。用户可以进一步钻取“月”坐标下的“对象xx，指标xx”。根据该交互模式，体现了一种快捷方便的优势，是因为构建了主数据模型的概念，在存储数据之前就执行了相关模型对接，直接导致所有的存储的数据均依赖于该主数据模型之下。在后续的数据加工过程中，不需要配置额外的流程、算法，进一步执行流程算法，即可以实现了数据的交互。

本实施例还公开一种基于主数据模型的坐标查询方法，包括坐标查询和坐标体系查询，如图6：

响应于坐标查询，反馈已配置的坐标信息；

即查询引擎接收到以坐标方式查询指标的具体数据、数据坐标，如“昨天”、“12:00”、“xx客户”、“定期”、“存款余额”，其中，“昨天”、“12:00”是时间坐标，“xx客户”是对象类型，“定期”、“存款余额”是需要查询的指标。

响应于坐标体系查询，反馈已配置的坐标纬度、坐标范围和粒度。

即查询引擎接收到以坐标体系为查询输入信息，反馈已经配置的所有维度信息、坐标范围、粒度，例如反馈已配置的所有维度，以及各个维度的最小粒度，以及时间维度的最小坐标等。

系统的查询引擎可以根据客户端的查询输入返回查询的数据结果，查询引擎会根据查询参数中的“时间，对象ID，指标ID”等坐标信息，通过先查询存储字典表确认对应数据的实际存储数据表，再查询相关存储数据表获得最终数据并返回客户端展示。

作为一种优选的实施方式，本方案还公开一种专题模型配置和交互方法，如图8，具体包括：

根据业务场景中指标和指标的业务团簇关系配置专题模型；

响应于数据钻取操作，传入对象、指标和时间三要素，根据所述被管理对象、指标和时间展示根据业务团簇关系已配置的至少一个专题菜单；所述专题菜单的URL封装了对应选择单元格的坐标信息，当选择相关专题，则封装的所述坐标信息将自动传递。

在钻取场景中，系统同步向查询引擎查询某个维度的上下级信息，比如某个行政区的上下级行政区清单，查询引擎会通过查询基线的方式返回相应数据，系统根据这些上下级对象清单，再次查询对应级别的指标信息。

效果举例说明：在分析掉话率问题时，源数据是某天下午8点，进行TOPIC钻取后，TOPIC中配置了“切换成功次数”这个指标以线图展示时间点前后4小时的数据，这样用户在钻取到这个TOPIC时，不需要额外的操作，就能看到掉话指标的同一个设备，它在当天下午8点前后4小时切换次数指标的趋势变化情况。

其中，业务团簇关系，是指某一个业务场景中某些数据需要在一起以某种形态呈现，其团簇关系面向特定场景，如掉话率指标（DCR）和呼叫建立成功率指标（CSSR）在评估网络接通质量时存在天然的聚合关系，希望被一起看到，比对分析。

主数据模型基础上，通过查询引擎实现数据罗盘功能，并通过场景化管理数据的业务团簇关系，以实现业务经验的平台化积累，并提供用户平滑快捷的数据分析能力，其中架构和前端交互设计的互相配合是实现最佳用户使用体验和方案最大价值的关键路径。

实施例3

本实施例公开一种新型的ETL系统，如图2，该新型的ETL系统用于将源数据转换成对象管理模型中的对象和对象所含有的指标，然后传输给系统核验。

其包括：数据加工单元，用于生成将源数据映射成所述对象管理模型中的对象实例，得到实施例1主数据处理方法中的处理数据。

包括输入单元，连接源数据接口；

包括输出单元，连接主数据库输入接口，所述输入接口配置基于主数据模型的接口协议。该处理数据传输给系统，经过系统接口核验后接收并生成对象基线表和对象数据表。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。

所述单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何在本发明揭露的技术范围内的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种主数据处理方法，其特征在于，包括以下步骤：

构建对象管理模型，包括对象属性以及与其他对象的关联关系；

构建基于所述对象管理模型控制的接口核验处理路径，接收ETL将数据映射成所述对象管理模型中的对象实例后的处理数据，以所述对象管理模型进行核验接收：生成对象基线表，储存于第一数据库；生成与所述对象基线表对应的对象数据表，存于第二数据库；

每一次接收ETL处理数据，均根据所述对象管理模型生成带有基线版本的对象基线表，与当前对象基线表的基线版本相同的对象数据表；

每一次接收的同一批处理数据中的所有指标作为最小指标集赋予坐标信息，所述坐标信息包括时间坐标，以及根据所述对象基线表确定的所述最小指标集所属对象、相关对象的属性以及与其他对象的关联关系。

2.根据权利要求1所述的主数据处理方法，其特征在于，还包括步骤：

当ETL处理时根据已构建的对象管理模型映射完成后将数据传输给数据接口核验时，识别对象属性以及与其他对象的关联关系的数据变化，根据所述数据变化自动创建新的对象基线版本数据。

3.根据权利要求2所述的主数据处理方法，其特征在于，根据对象ID将最新版本的对象基线数据缓存在内存数据库中。

4.一种基于主数据的交互方法，其特征在于，所述主数据为权利要求1-3任意一项所述的主数据处理方法中得到的主数据，具体包括以下步骤：

创建若干汇总路径模型，根据所述汇总路径模型的汇总路径以及汇总路径上的节点所对应的对象管理模型生成汇总对象，系统根据汇总对象上携带的对应维度的坐标信息生成加工后的对应数据存储字典表和数据存储表。

5.根据权利要求4所述的基于主数据的交互方法，其特征在于，根据业务场景中指标和指标的业务团簇关系配置专题模型；

响应于数据钻取操作，传入被管理对象、指标和时间，根据所述被管理对象、指标和时间选择对应的专题模型，根据所述专题模型所对应的业务团簇关系，查看主数据模型中的坐标体系，获取关联指标数据，并展示。

6.根据权利要求4所述的基于主数据的交互方法，其特征在于，还包括基于坐标系的查询交互方法：响应于指标数据钻取触发，根据主数据模型配置的坐标系选择需要展示的不同维度的指标数据。

7.根据权利要求4所述的基于主数据的交互方法，其特征在于，还包括坐标查询和坐标体系查询：

响应于坐标查询，反馈已配置的坐标信息；

响应于坐标体系查询，反馈已配置的坐标纬度、坐标范围和粒度。

8.一种基于主数据的交互系统，其特征在于，包括处理器，用于调用存储器中的计算机程序以实现权利要求4-7任意一项所述的基于主数据的交互方法。

9.一种ETL系统，其特征在于，包括：

数据加工单元，用于生成将源数据映射成所述对象管理模型中的对象实例，得到权利要求1-3任意一项所述的主数据处理方法中的ETL处理数据；

输入单元，连接源数据接口；

输出单元，连接主数据库输入接口，所述输入接口配置基于对象管理模型的接口协议。

Images