CN112131239A - 一种数据处理方法、计算机设备以及可读存储介质 - Google Patents
一种数据处理方法、计算机设备以及可读存储介质 Download PDFInfo
- Publication number
- CN112131239A CN112131239A CN202011062992.2A CN202011062992A CN112131239A CN 112131239 A CN112131239 A CN 112131239A CN 202011062992 A CN202011062992 A CN 202011062992A CN 112131239 A CN112131239 A CN 112131239A
- Authority
- CN
- China
- Prior art keywords
- index
- target
- data
- acquisition
- data table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000013507 mapping Methods 0.000 claims description 42
- 238000004891 communication Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012217 deletion Methods 0.000 claims description 12
- 230000037430 deletion Effects 0.000 claims description 12
- 238000004806 packaging method and process Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 5
- 238000011144 upstream manufacturing Methods 0.000 abstract description 10
- 238000012545 processing Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 239000008280 blood Substances 0.000 description 6
- 210000004369 blood Anatomy 0.000 description 6
- 238000005538 encapsulation Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012783 upstream development Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Abstract
本申请实施例公开了一种数据处理方法、计算机设备以及可读存储介质,该数据处理方法包括:接收业务服务器发送的与目标业务相关联的指标上报字段;从业务服务器中获取上报规则,从上报规则中提取目标采集指标;在数据仓库中,获取与目标业务相关联的当前数据表;根据目标采集指标与当前数据表所包含的当前采集指标,确定差异采集指标;根据差异采集指标更新当前数据表,得到包含所述目标采集指标的目标数据表;对指标上报字段进行解析,得到与目标采集指标相关联的指标业务数据,将指标业务数据存储至目标数据表中。采用本申请,数据仓库可以自动适配上游数据源信息,保证数据的一致性与稳定性,减少人力成本和时间成本。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据处理方法、计算机设备以及可读存储介质。
背景技术
数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。这些数据从多个业务系统中抽取而来,数据上游的任何变更,都会影响下游的数据输出。
常见的业务流程是上游开发针对要新增的指标,人工创建相应的指标值,并写入数据库中;再通知下游数据仓库开发人员,同时对下游数据表新增指标,才能将新增数据字段接入。所以每一次业务变化,都需要上游数据源通知下游数据仓库进行变更,数据仓库开发人员需要进行业务沟通与技术理解,以保证数据的一致性与稳定性,从而导致耗费昂贵的人力成本和时间成本。
发明内容
本申请实施例提供一种的数据处理方法、装置以及可读存储介质,可以自动适配上游数据源信息,保证数据的一致性与稳定性,减少人力成本和时间成本。
本申请实施例一方面提供了一种基于神经网络的数据处理方法,包括:
接收业务服务器发送的与目标业务相关联的指标上报字段;
从业务服务器中获取上报规则,从上报规则中提取目标采集指标;指标上报字段所映射的采集指标为目标采集指标;
在数据仓库中,获取与目标业务相关联的当前数据表;
根据目标采集指标与当前数据表所包含的当前采集指标,确定差异采集指标;
根据差异采集指标更新当前数据表,得到目标数据表;目标数据表包含所述目标采集指标;
对指标上报字段进行解析,得到与目标采集指标相关联的指标业务数据,将指标业务数据存储至目标数据表中。
本申请实施例一方面提供了一种基于神经网络的数据处理方法,包括:
获取指标更新指令,根据指标更新指令生成上报规则,将上报规则发送至数仓服务器;上报规则包括目标采集指标;
接收目标业务相关联的上报数据,根据上报规则在上报数据中获取指标业务数据;
根据上报规则对目标采集指标和指标业务数据进行封装,得到指标上报字段;
将指标上报字段发送至数仓服务器,以使数仓服务器根据差异采集指标对当前数据表进行更新,得到目标数据表,将目标采集指标相关联的指标业务数据存储至目标数据表;差异采集指标是指上报规则中的目标采集指标与当前数据表所包含的当前采集指标之间的差异内容;目标采集指标相关联的指标业务数据是由数仓服务器基于上报规则对指标上报字段进行解析得到的。
本申请实施例一方面提供了一种基于神经网络的数据处理装置,包括:
第一接收模块,用于接收业务服务器发送的与目标业务相关联的指标上报字段;
第一获取模块,用于从业务服务器中获取上报规则;
提取模块,用于从上报规则中提取目标采集指标;指标上报字段所映射的采集指标为目标采集指标;
第二获取模块,用于获取与所述目标业务相关联的当前数据表;
差异内容确定模块,用于根据目标采集指标与当前数据表所包含的当前采集指标,确定差异采集指标;
指标更新模块,用于根据差异采集指标更新当前数据表,得到目标数据表;目标数据表包含目标采集指标;
字段解析存储模块,用于对指标上报字段进行解析,得到与所述目标采集指标相关联的指标业务数据,将指标业务数据存储至目标数据表中。
其中,指标更新模块包括:
第一指标获取单元,用于若差异采集指标属于目标采集指标,且不属于当前数据表所包含的当前采集指标,从上报规则中提取与新增采集指标具有映射关系的指标编码,作为第一差异指标编码;
添加语句生成单元,用于根据第一差异指标编码生成针对当前数据表的指标添加查询语句;
第一指标更新单元,用于根据指标添加查询语句,在当前数据表中添加差异指标编码,得到目标数据表;目标数据表包含与目标采集指标具有映射关系的指标编码。
其中,指标更新模块包括:
第二指标获取单元,用于若差异采集指标属于当前数据表所包含的当前采集指标,且不属于目标采集指标,则从当前数据表中获取与差异采集指标具有映射关系的指标编码,作为第二差异指标编码;
删除语句生成单元,用于根据第二差异指标编码生成针对当前数据表的指标删除查询语句;
第二指标更新单元,用于根据指标删除查询语句,在当前数据表中删除差异指标编码,得到目标数据表;目标数据表包含与目标采集指标具有映射关系的指标编码。
其中,目标采集指标包括指标Si,i为小于或等于所述目标采集指标的总数量的正整数;
字段解析存储模块包括:
字段解析单元,用于解析指标上报字段,得到指标Si的指标编码和与指标Si相关联的指标业务数据编码,
业务数据确定单元,用于根据上报规则确定指标业务数据编码所映射的指标业务数据;
存储位置确定单元,用于在目标数据表中查找与指标Si的指标编码相关联的表格存储位置;
业务数据添加单元,将指标Si相关联的指标业务数据添加至表格存储位置。
其中,装置还包括:
第三获取模块,用于获取根据当前数据表生成的相关数据表;
数据表更新模块,用于根据差异采集指标修改相关数据表的查询语句,更新相关数据表。
本申请实施例一方面提供了一种基于神经网络的数据处理装置,包括:
指令获取模块,用于获取指标更新指令;
规则处理模块,用于根据指标更新指令生成上报规则,将上报规则发送至数仓服务器;
业务数据获取模块,用于接收目标业务相关联的上报数据,根据上报规则在上报数据中获取指标业务数据;
封装模块,用于根据上报规则对目标采集指标和指标业务数据进行封装,得到指标上报字段;
字段发送模块,用于将指标上报字段发送至数仓服务器,以使数仓服务器根据差异采集指标对当前数据表进行更新,得到目标数据表,将目标采集指标相关联的指标业务数据存储至目标数据表;所述差异采集指标是指上报规则中的目标采集指标与当前数据表所包含的当前采集指标之间的差异内容;目标采集指标相关联的指标业务数据是由数仓服务器基于上报规则对指标上报字段进行解析得到的。
其中,指令获取模块包括:
响应单元,用于响应指标配置管理界面中针对字典表的保存操作;
指标确定单元,用于将所述字典表中处于已上线状态的指标,确定为目标采集指标;
指令生成单元,用于根据目标采集指标生成指标更新指令;
规则处理模块包括:
编码信息获取单元,用于根据指标更新指令,获取字典映射表中与目标采集指标有映射关系的指标编码和指标业务数据编码,作为目标编码信息;
规则生成单元,用于根据目标采集指标和目标编码信息生成上报规则;
规则发送单元,用于将上报规则发送至数仓服务器;
封装模块包括:
编码查找单元,用于在上报规则中查找与指标业务数据具有映射关系的指标业务数据编码,作为上报指标业务数据编码;
编码查找单元,还用于获取与目标采集指标有映射关系的指标编码,作为上报指标编码;
字段封装单元,用于将上报指标业务数据编码和上报指标编码封装为指标上报字段。
其中,业务数据获取模块包括:
上报数据接收单元,用于接收目标业务相关联的上报数据;所述上报数据包括N个业务数据,N为正整数;
数据指标确定单元,用于确定所述N个业务数据中每个业务数据所属的采集指标;
接口修改单元,用于根据上报规则,修改数据获取接口;
指标业务数据获取单元,用于通过数据获取接口,在上报数据中获取采集指标属于目标采集指标的业务数据,作为指标业务数据。
本申请实施例一方面提供了一种计算机设备,包括:处理器、存储器、网络接口;
上述处理器与上述存储器、上述网络接口相连,其中,上述网络接口用于提供数据通信功能,上述存储器用于存储计算机程序,上述处理器用于调用上述计算机程序,以执行本申请实施例中的方法。
本申请实施例一方面提供了一种计算机可读存储介质,上述计算机可读存储介质存储有计算机程序,上述计算机程序包括程序指令,上述程序指令被处理器执行时,以执行本申请实施例中的方法。
本申请实施例一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中,计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例中的方法。
本申请实施例通过响应用户针对目标业务进行的指标管理操作生成上报规则,再根据上报规则获取指标业务数据,将指标业务数据封装成指标上报字段发送到数仓服务器;其中,上报规则包含目标采集指标;其中,指标业务数据对应的采集指标属于目标采集指标。进一步的,数仓服务器在接收到指标上报字段时会获取上报规则和与目标业务相关联的当前数据表,然后根据上报规则更新当前数据表得到目标数据表,再解析指标上报字段将指标业务数据存进目标数据表中;其中,目标数据表包含目标采集指标。由此可见,通过本申请实施例提供的方法,上游数据源中指标业务数据的获取和下游数据仓库数据表中指标的更新都根据同一上报规则完成,业务变化时数据仓库开发人员不再需要进行业务沟通与技术理解,就可以保证数据的一致性与稳定性,减少人力成本和时间成本。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种网络架构图;
图2是本申请实施例提供的一种指标更新场景示意图;
图3是本申请实施例提供的一种数据处理方法的流程示意图;
图4是本申请实施例提供的一种上报规则生成的过程示意图;
图5是本申请实施例提供的一种字典映射表的结构示意图;
图6是本申请实施例提供的另一种数据处理方法的流程示意图;
图7是本申请实施例提供的一种指标更新的时序示意图;
图8是本申请实施例提供的一种数据处理装置的结构示意图;
图9是本申请实施例提供的一种计算机设备的结构示意图;
图10是本申请实施例提供的另一种数据处理装置的结构示意图;
图11是本申请实施例提供的另一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1,是本申请实施例提供的一种网络架构示意图。如图1所示,该网络架构可以包括终端设备11、服务器12a以及服务器12b。其中,服务器12a可以为业务服务器,服务器12b可以为数仓服务器。如图1所示,服务器12a可以获取数据源10,还可以分别与上述终端设备11、服务器12b进行网络连接,以便于服务器12a可以通过网络连接分别与上述终端设备11、服务器12b进行数据交互。
如图1所示,数据源10可以是从多个业务系统中抽取而来的与目标业务相关的业务数据的集合;其中,业务系统可以支持业务处理的执行,可以是非集成操作系统。服务器12b中安装有数据仓库;其中,数据仓库是面向某一主题的数据的集合;其中,主题是指用户使用数据仓库对目标业务进行决策时所关心的重点方面。终端设备11可以集成安装有指标管理平台,当该指标管理平台运行在终端设备中时,服务器12a可以获取终端设备11通过指标管理平台所发起的业务指令;终端设备11也可以通过web端来访问指标管理平台,当用户登录网页进入该指标管理平台时,服务器12a也可以获取终端设备11通过指标管理平台所发起的业务指令。服务器12a会根据业务指令来配置上报规则,然后根据上报规则抽取数据源10中的业务数据,并与上述图1所示的服务器12b之间进行数据交互,服务器12b会将服务器12a传来的业务数据进行处理后存进数据仓库中。其中,该指标管理平台可以理解为一种可以添加、删除或修改存有与目标业务相关的指标配置信息的数据配置类平台,如指标管理网页。其中,指标配置信息包括目标业务的指标、指标对应的状态信息、指标对应的业务数据等等。其中,指标对应的状态信息包括某个指标的已上线状态和某个指标的未上线状态。本申请中的服务器12a可以在指标管理平台中获取与目标业务相关的指标配置信息,然后根据指标配置信息中指标对应的状态信息确定目标采集指标,然后修改数据接口以获取目标采集指标对应的业务数据,作为指标业务数据,再将获取的指标业务数据和其对应的目标采集指标封装进指标上报字段,再将上报字段发送给服务器12b。其中,目标采集指标是指标对应的状态信息为已上线状态的指标。如图1所述,服务器12b在接收到上述服务器12a传来的指标上报字段后,会从服务器12a中获取与目标业务相关的指标配置信息,然后根据指标配置信息自动修改数据仓库中与目标业务相关的当前数据表,得到目标数据表,然后解析指标上报字段,得到指标业务数据,再将指标业务数据存储至目标数据表中。
可以理解的是,本申请实施例提供的方法可以由计算机设备执行,计算机设备包括但不限于上述的终端设备11或服务器12a或者服务器12b。其中,服务器12a或者服务器12b可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
可以理解的是,上述提到的网络连接均可以通过有线或者无线通信方式进行,本申请在此不做限制。
为便于理解,本申请实施例以所述目标业务为班级管理为例,以阐述服务器12a获取指标管理平台中与目标业务相关的指标配置信息后,如何进行数据处理,并同服务器12b进行数据交互,以完成从数据源10中获取用户需要的指标业务数据,并将指标业务数据存进数据仓库的具体过程。
其中,与班级管理相关的指标可以包括姓名、年龄和成绩,则数据源10中包含姓名、年龄和成绩对应的业务数据,与目标业务相关的指标配置信息包含姓名、年龄和成绩分别对应的状态信息和姓名、年龄和成绩分别对应的业务数据。只有指标对应的状态信息为已上线的指标才能确定为目标采集指标。假设姓名对应的状态信息为已上线,年龄和成绩对应的状态信息为未上线,则服务器12a只会从数据源10中获取姓名对应的业务数据作为指标业务数据,然后将指标业务数据和姓名封装为指标上报字段,再将指标上报字段发送给服务器12b;服务器12b会获取数据仓库中与目标业务相关的当前数据表,更新当前数据表,得到只包含姓名指标的目标数据表,然后解析指标上报字段将指标业务数据存进目标数据表中。
进一步地,请参见图2,图2是本申请实施例提供的一种指标更新场景示意图。如图2所示,用户终端(即上述图1所示的终端设备11)响应针对指标管理网页(即上述指标管理平台)的第一配置操作,确定目标采集指标,生成指标更新指令发送给业务服务器(即上述图1所示的服务器12a)。其中,第一配置操作可以是在用户通过指标管理网页的配置界面更改指标的状态信息后,执行的点击保存按钮的操作,如图2所示的第一配置操作是用户将姓名指标的状态信息勾选为已上线后,点击保存按钮的操作。
业务服务器会根据指标更新指令中的目标采集指标获取与目标采集指标相关的指标配置信息,然后生成上报规则。其中,上报规则包含目标采集指标的指标配置信息。然后,业务服务器会根据上报规则修改数据获取接口,然后通过修改后的数据获取接口从数据源(即上述图1所示的数据源10)中获取与目标采集指标对应的业务数据。如图2所示,目标采集指标的状态信息是已上线状态,即被修改为已上线的姓名指标。对数据获取接口进行修改后,业务服务器会从数据源中获取姓名指标对应的业务数据,作为指标业务数据,然后将指标业务数据封装进指标上报字段,再将指标上报字段发送给数仓服务器(即上述图1所示的服务器12b)。
数仓服务器会从业务服务器中获取到上报规则,并根据上报规则在数据仓库中找到与目标业务相关联的当前数据表(用于存储班级管理相关指标数据的数据表),然后获取当前数据表中的当前采集指标和上报规则中的目标采集指标,确定差异采集指标。然后根据差异采集指标更新当前数据表得到目标数据表,再解析指标上报字段将其中的指标业务数据存进目标数据表中。如图2所示,当前数据表中没有当前采集指标,上报规则中包含的目标采集指标为姓名指标,则确定差异采集指标为姓名指标。此时当前采集指标中没有姓名指标,目标采集指标中包含姓名指标,将姓名指标确定为新增指标。根据差异采集指标更新当前数据表的过程,可以是在当前数据表中新增姓名指标和姓名指标相关的存储位置,得到目标数据表。然后解析指标上报字段,得到姓名指标相关的指标业务数据,再将与姓名相关的指标业务数据存进目标数据表中姓名指标对应的存储位置中。
进一步地,为便于理解,请参见图3,图3是本申请实施例提供的一种数据处理方法的流程示意图。该方法可以由数仓服务器(如上述图2所对应实施例中的数仓服务器)执行,本实施例以该方法由上述数仓服务器执行为例进行说明。如图3所示,该流程可以包括:
S101:接收业务服务器发送的与目标业务相关联的指标上报字段,从所述业务服务器中获取上报规则,从所述上报规则中提取目标采集指标。
具体的,数仓服务器接收到指标上报字段后,会获取相关的上报规则。其中,上报规则中包含目标采集指标,与目标采集指标相关的指标业务数据、目标采集指标对应的编码、指标业务数据对应的编码。其中,例如,目标采集指标可以为姓名。其中,目标采集指标对应的编码一般采用数字编码,姓名的编码可以是1。其中,与目标采集指标相关的指标业务数据可以是李四、张三、王二等等。其中,如果与目标采集指标相关的指标业务数据是可以枚举的,则该指标相关的指标业务数据对应有编码,通常来说选择数字编码,比如目标业务涉及的群体只有一个班级,班级的人数是确定的,此时可以对姓名指标相关的指标业务数据进行编码,李四可以为11,张三可以为12,王二可以为13等等;如果与目标采集指标相关的指标业务数据是不可以枚举的,则该指标业务数据没有对应的编码,例如目标业务的目标采集指标为兴趣爱好,班级成员的兴趣爱好是不确定的,没有办法进行枚举,此时对于兴趣爱好指标相关的指标业务数据没有编码,比如打篮球、跳绳等等。
具体的,指标上报字段包含与目标业务相关联的指标和与指标相对应的指标业务数据。与目标业务相关联的指标和与指标相对应的指标业务数据都会按照上报格式被业务服务器写入字段中,再发送给数仓服务器。其中,上报格式是根据上述上报规则确定的。其中,上报规则是业务服务器接收到指标更新指令,根据指标更新指令确定目标采集指标,获取目标采集指标的指标配置信息,根据目标采集指标的指标配置信息生成的。
为便于理解,本申请实施例以指标上报字段AID为例进行说明。AID的上报格式可以为AID=规范版本$$key1:value1$key2:value2$key3:value3。$$分隔的第一个字段是规范版本。$$分隔的第二个字段是所有需要上报的字段,以key:value形式上报,key:value对之间使用单$("$")分隔,key和value直接使用冒号(":")分隔。其中,key可以是上述提到的目标采集指标对应的编码。其中,如果key中的目标采集指标相关的指标业务数据存在编码,则value可以是上述提到的与目标采集指标相关的指标业务数据对应的编码;如果key中的目标采集指标相关的指标业务数据没有编码,则value可以是上述提到的与目标采集指标相关的指标业务数据。比如,目标采集指标为班级,班级的对应编码为1,与目标采集指标相关的指标业务数据为李四,且李四存在对应的数字编码11,将该信息写入指标上报字段AID,则:AID=V0$$1:11。
S102:在数据仓库中,获取与所述目标业务相关联的当前数据表;根据所述目标采集指标与所述当前数据表所包含的当前采集指标,确定差异采集指标。
具体的,当前数据表是用来存储与目标业务相关联的业务数据的。在当前数据表中,不同的指标有着不同的存储位置,也就是说,业务数据会存储进与之相关的指标对应的存储位置中。数仓服务器接收到指标上报字段后,会解析该指标上报字段得到指标业务数据和其对应的目标采集指标,将指标业务数据存进对应的目标采集指标的存储位置。当前数据表中存储的指标和指标相关的业务数据应与指标上报字段中包含的指标和指标相关的业务数据一致。如,上述指标上报字段AID=V0$$1:11,则当前数据表中姓名的指标用1代替,指标业务数据李四用11代替。指标和指标业务数据均采用了编码来代替,可以减少存储量。
本申请中数仓服务器从上报规则中提取到目标采集指标后,也会获取当前数据表中所包含的当前采集指标,然后查找二者是否存在差异指标。其中,差异采集指标是上述当前采集指标和目标采集指标中存在差异的指标,也就是说该差异采集指标只存在当前采集指标和目标采集指标其中一个中。如果不存在差异指标,说明此次指标上报字段中没有采集指标的变化,不需要更新当前数据表;如果存在差异指标,说明业务所需的采集指标发生了变化,需要更新当前数据表。
S103:根据所述差异采集指标更新所述当前数据表,得到目标数据表;所述目标数据表包含所述目标采集指标。
具体的,当差异采集指标属于目标采集指标,且不属于当前数据表所包含的当前采集指标时,说明该差异采集指标是新增加的采集指标,比如,目标采集指标包括姓名、年龄,当前采集指标包括姓名,此时年龄就是差异指标,且年龄属于目标采集指标不属于当前采集指标,所以年龄是新增加的采集指标。此时需要在当前数据表中加入该差异采集指标。此时更新当前数据表,可以先从上报规则中提取与差异采集指标具有映射关系的指标编码,作为差异指标编码;然后根据该差异指标编码生成针对当前数据表的指标添加查询语句;根据指标添加查询语句,在所述当前数据表中添加所述差异指标编码,得到目标数据表。其中,查询语句可以是SQL语句,用于存取数据以及查询、更新和管理关系数据仓库。指标添加查询语句则是用于将该差异指标编码拼接进当前数据表的指令,执行该指标添加查询语句,当前数据表中会添加进该差异指标编码,得到的目标数据表中包含与之相关的存储位置,用于存储该差异指标相关的指标业务数据。
具体的,当差异采集指标属于当前数据表所包含的当前采集指标,且不属于目标采集指标时,说明该差异采集指标是需要删除的采集指标,比如,目标采集指标包括姓名,当前采集指标包括姓名、年龄,此时年龄就是差异指标,且年龄不属于目标采集指标但属于当前采集指标,所以年龄是需要删除的采集指标。也就是说,指标上报字段中不会包含该差异采集指标的对应指标业务数据,可以在当前数据表中删除该差异采集指标。此时更新当前数据表,可以先从当前数据表中获取与差异采集指标具有映射关系的指标编码,作为差异指标编码;然后根据该差异指标编码生成针对当前数据表的指标删除查询语句;根据指标删除查询语句,在当前数据表中添加差异指标编码,得到目标数据表。指标删除查询语句是用于将该差异指标编码从当前数据表删除的指令,执行该指标删除查询语句,当前数据表中会删除该差异指标编码,得到的目标数据表中不再含有与之相关的存储位置。
可以理解的是,更新当前数据表得到的目标数据表,包含与目标采集指标具有映射关系的指标编码。
S104:对所述指标上报字段进行解析,得到与所述目标采集指标相关联的指标业务数据,将所述指标业务数据存储至所述目标数据表中。
具体的,指标上报字段中包含采集指标和采集指标对应的指标业务数据,解析该指标上报字段,可以获得采集指标和采集指标对应的指标业务数据。然后数据仓库会根据采集指标将采集指标对应的指标业务数据存进目标数据表中该采集指标对应的存储位置中。
具体的,上述目标采集指标包括指标Si,i为小于或等于所述目标采集指标的总数量的正整数。解析指标上报字段,得到指标Si的指标编码和与指标Si相关联的指标业务数据编码,根据上报规则确定指标业务数据编码所映射的指标业务数据;在目标数据表中查找与指标Si的指标编码相关联的表格存储位置;将指标Si相关联的指标业务数据添加至所述表格存储位置。
可选的,在当前数据表更新目标数据表以后,数仓服务器会自动获取与当前数据表有血缘关系的数据表,然后根据上述差异采集指标对与当前数据表有血缘关系的数据表进行更新。其中,与当前数据表有血缘关系的数据表指的是需要获取当前数据表中的指标数据来生成的数据表,这些相关数据表不一定在数据仓库中,也可以是数仓的下游设备,即从数仓获取数据的下游设备。在当前数据表进行更新以后,一同更新与其有血缘关系的数据表,得到相关目标数据表。其中,与当前数据表有血缘关系的数据表调用当前数据表中的数据可以通过查询语句来实现,通过修改生成与当前数据表有血缘关系的查询语句,可以更改该数据表调用的指标和对应的指标业务数据,从而得到相关目标数据表。
通过本申请实施例提供的一种数据处理方法,接收到某一业务相关的指标上报字段时,会获取业务服务器中的上报规则和与业务相关联的当前数据表,然后根据上报规则和当前数据表的差异内容得知业务变化带来的指标变化,自动更是当前数据表得到目标数据表。通过上报规则的制定,使得上游数据源的数据获取与下游数据仓库的数据添加达成了一致,整个过程中数据仓库开发人员不需要对数据仓库表进行任何人工处理,就能自动适配上游数据源信息,保证了数据的一致性与稳定性。本申请实施例减少了人工审核影响范围的昂贵人力成本和时间成本,避免了由于人工因素可能造成的遗漏,提高了数据仓库与上游数据源进行数据同步修改的效率。
本申请中,上报规则的生成是自动化创建目标数据表的基础,进一步的,请参见图4,图4是本申请实施例提供的一种上报规则生成的过程示意图。如图4所示,界面40a是用户终端(即上述图1所示的终端设备11)显示界面,用户可以通过如图4所示的界面40a访问指标管理网页(即上述提到的指标管理平台)中的字典表400查看目标业务的指标状态,为便于理解,依然以上述目标业务为班级管理为例,如,字典表400中字典项名称为姓名的指标,此时的状态为未上线,可知业务服务器(即上述图1所示的服务器12a)在数据源获取数据时并不会获取姓名对应的指标数据,此时数据仓库(即上述图1所示的数据仓库13)中与班级管理相关的数据表中也没有姓名对应的指标栏。
如图4所示,用户通过界面40a除了可以查看目标业务的指标状态之后,还可以在该指标管理界面(即图4所示的界面40a)中根据目标业务需求更改指标的状态,如,选中如图4所示姓名指标对应的勾选栏4001,点击修改按钮4002,可以跳转至如图4所示的界面40b,界面40b是界应页面40a的修改按钮4002的指标修改界面,用户可以在界面40b中的修改框401中将姓名指标的状态更改为已上线,然后点击保存按钮4011,然后,用户终端会响应用户针对保存按钮4011的点击操作,将字典表400中处于已上线状态的指标,确定为目标采集指标,根据目标采集指标生成指标更新指令;业务服务器(即上述图1所示的服务器12a)接收到指标更新指令后,会再从指标管理网页中的字典映射表获取与目标采集指标有映射关系的指标编码和指标业务数据编码,作为目标编码信息,然后根据目标采集指标和目标编码信息生成上报规则。为便于理解,请一并参见图5,图5是本申请实施例提供的一种字典映射表的结构示意图。字典映射表是用来存储业务所需指标的相关映射信息的,本申请实施例中可以对业务指标所涉及的指标业务数据进行编码以后再封装成上述指标上报字段传给数仓服务器进行存储,可以节省存储空间。如图5所示,字典映射表可以包含字典项编码、字典项名称、具体值和具体值编码。其中,字典项名称对应的就是业务的指标,字段项编码指业务指标对应的指标编码,具体值就是业务的指标数据,具体值编码就是业务的指标数据对应的指标编码。因此,上述根据指标更新指令生成上报规则可以是,获取指标更新指令中的目标采集指标,然后在字典映射表中查找与目标采集指标相同的字典项名称,然后生成包含该字典项的字典项编码、具体值和具体值编码的上报规则。
应当理解,用户可以通过如上述图4所示的用户终端上的指标管理网页查看和编辑上述字典映射表。对于所有可枚举的指标数据,在上报前需要编码,并录入字典映射表后,方能上报。对于不可逐一编码的指标数据,可上报其具体信息。
应当理解,上述指标上报字段的格式设定与字典映射表保持一致。也就是说,对于上述AID=规范版本$$key:value,key中存储的值可以是字典项编码,value中存储的值可以是具体值编码,当指标的数据不可枚举,不便编码时,value中存储的值可以是具体值。
本申请实施例中,上述数仓服务器接收的指标上报字段的封装可以在上述业务服务器中进行。为进一步说明指标业务数据如何封装成指标上报字段,请参见图6,图6是本申请实施例提供的另一种数据处理方法的流程示意图。该方法可以由业务服务器(如上述图2所对应实施例中的业务服务器)执行,本实施例以该方法由上述业务服务器执行为例进行说明。如图3所示,该流程可以包括:
S201:获取指标更新指令,根据所述指标更新指令生成上报规则。
具体的,指标更新指令包含了用户设定的目标采集指标,在获取字典映射表(即上述图5所示的字典映射表)中与目标采集指标具有映射关系的数据信息,如上述图5中所示的采集指标、指标编码、指标数据、指标数据编码和它们互相之间的映射关系。具体的生成过程可以参见上述图4的说明,这里不再赘述。
S202:接收目标业务相关联的上报数据,根据所述上报规则在所述上报数据中获取指标业务数据。
具体的,目标业务相关联的上报数据可以是从上游数据源从对应的多个业务系统中获取的与业务相关的数据,但是在上述与目标业务相关的数据表中存储的并不是所有的与目标业务相关联的上报数据,数据表中只会存储用户设定的指标对应的指标业务数据。因此,在将上报数据封装成上报字段时,需要进行筛选,只需要将指标业务数据封装进上报字段,可以减少通信所需的时间。
具体的,可以根据上报规则在所述上报数据中获取指标业务数据。上报数据可以包括N个业务数据,N为正整数。在生成上报规则后,业务服务器会自动根据上报规则修改数据获取接口,然后通过修改后的数据获取接口对上报数据进行采集。业务服务器会通过上报规则确定N个业务数据中每个业务数据所属的采集指标,然后通过修改后的数据获取接口,在上报数据中获取采集指标属于目标采集指标的业务数据,作为指标业务数据。
S203:根据所述上报规则对所述目标采集指标和所述指标业务数据进行封装,得到指标上报字段。
指标上报字段的格式设定应该与步骤S101中一致,依然以指标上报字段为例来进行说明,指标上报字段AID的上报格式可以为AID=规范版本$$key1:value1$key2:value2$key3:value3……;不同的采集指标存入不同的key值中,与之对应的指标业务数据存进对应的value值中。
S204:将所述指标上报字段和所述上报规则发送至所述数仓服务器。
具体的,将指标上报字段发送至数仓服务器,以使数仓服务器根据差异采集指标对当前数据表进行更新,得到目标数据表,将目标采集指标相关联的指标业务数据存储至目标数据表;差异采集指标是指上报规则中的目标采集指标与当前数据表所包含的当前采集指标之间的差异内容;目标采集指标相关联的指标业务数据是由数仓服务器基于上报规则对指标上报字段进行解析得到的。数据仓库根据差异采集指标更新当前数据表,得到目标数据表,将目标采集指标相关联的指标业务数据存储至目标数据表的具体实现过程,可以参见上述图3所对应实施例中对S101-S104的描述,这里将不再继续进行赘述。
本申请实施例中,用户可以根据业务需求的变化自行设定指标的状态信息,通过响应用户针对字典表(即上述图4中的字典表400)的点击操作,获取指标更新指令,再根据指标更新指令中所包含的目标采集指标生成上报规则,然后按照该上报规则去获取指标业务数据并封装进指标上报字段发送给数仓服务器,以使数仓服务器根据差异采集指标对当前数据表进行更新,得到目标数据表,将所述目标采集指标相关联的指标业务数据存储至所述目标数据表;所述差异采集指标是指所述上报规则中的所述目标采集指标与当前数据表所包含的当前采集指标之间的差异内容;所述目标采集指标相关联的指标业务数据是由所述数仓服务器基于所述上报规则对所述指标上报字段进行解析得到的。由此可见,通过本申请实施例,下游数据仓库可以自动适配上游数据源的指标变化,减少了人工审核影响范围的昂贵人力成本和时间成本。
为便于理解,请参见图7,图7是本申请实施例提供的一种指标更新的时序示意图。如图7所示,整个指标更新的过程涉及到终端设备、业务服务器以及数仓服务器之间的数据交互。
S301:用户通过终端设备的Web端新建上报内容,配置指标信息,终端设备会将用户配置的结果数据发送给业务服务器。步骤S301的具体实现方式可以参见上述图4所对应实施例的描述,这里将不再继续进行赘述。
S302-S303:业务服务器接收到终端传来的数据信息后,会确定目标采集指标,获取目标采集指标的相关信息,生成上报规则,然后根据上报规则上报对应字段信息。其中,根据上报规则上报对应字段信息即根据上报规则修改数据获取接口,通过修改后的数据获取接口,从数据源中获取目标采集指标对应的业务数据作为指标业务数据,然后将指标业务数据封装到指标上报字段中。步骤S302-S303的具体实现方式可以参见上述图3所对应实施例中对S101的描述,这里将不再继续进行赘述。
S304-S307:数仓服务器接收到字段信息后,会读取业务服务器中的上报规则,然后判断当前数据表与上报规则的差异,找出新增字段,拼接SQL信息,然后更新数据底表,自动新增指标,得到目标数据表。步骤S304-S307的具体实现方式可以参见上述图3所对应实施例中对S102-S103的描述,这里将不再继续进行赘述。
S308-S309:数仓服务器获取业务服务器推送的数据,存入目标数据表中。可以理解的是,在没有新的上报规则生成时,数仓服务器并不需要持续对数据表进行指标的更新。在完成针对新的上报规则进行的指标更新以后,数仓服务器再接受到业务服务器推送的数据,会直接将数据存入相应的数据表中。
进一步地,请参见图8,图8是本申请实施例提供的一种数据处理装置的结构示意图。如图8所示,数据处理装置2可以应用于上述图3-图6对应实施例中的数仓服务器,数据处理装置2可以包括:第一接收模块21、第一获取模块22、提取模块23、第二获取模块24、差异内容确定模块25、指标更新模块26以及字段解析存储模块27。
第一接收模块21,用于接收业务服务器发送的与目标业务相关联的指标上报字段;
第一获取模块22:用于从业务服务器中获取上报规则;
提取模块23:用于从上报规则中提取目标采集指标;指标上报字段所映射的采集指标为目标采集指标;
第二获取模块24:用于获取与所述目标业务相关联的当前数据表;
差异内容确定模块25:用于根据目标采集指标与当前数据表所包含的当前采集指标,确定差异采集指标;
指标更新模块26:用于根据差异采集指标更新当前数据表,得到目标数据表;目标数据表包含目标采集指标;
字段解析存储模块27:用于对指标上报字段进行解析,得到与所述目标采集指标相关联的指标业务数据,将指标业务数据存储至目标数据表中。
其中,第一接收模块21、第一获取模块22、提取模块23、第二获取模块24、差异内容确定模块25、指标更新模块26以及字段解析存储模块27的具体实现方式,可以参见上述图3所对应实施例中步骤S101-S104的描述,这里将不再进行赘述。
请参见图8,指标更新模块26包括:第一指标获取单元261、添加语句生成单元262、第一指标更新单元263、第二指标获取单元264、删除语句生成单元265、第二指标更新单元266。
第一指标获取单元261:用于若差异采集指标属于目标采集指标,且不属于当前数据表所包含的当前采集指标,从上报规则中提取与新增采集指标具有映射关系的指标编码,作为第一差异指标编码;
添加语句生成单元262:用于根据第一差异指标编码生成针对当前数据表的指标添加查询语句;
第一指标更新单元263:用于根据指标添加查询语句,在当前数据表中添加差异指标编码,得到目标数据表;目标数据表包含与目标采集指标具有映射关系的指标编码。
第二指标获取单元264:用于若差异采集指标属于当前数据表所包含的当前采集指标,且不属于目标采集指标,则从当前数据表中获取与差异采集指标具有映射关系的指标编码,作为第二差异指标编码;
删除语句生成单元265:用于根据第二差异指标编码生成针对当前数据表的指标删除查询语句;
第二指标更新单元266:用于根据指标删除查询语句,在当前数据表中删除差异指标编码,得到目标数据表;目标数据表包含与目标采集指标具有映射关系的指标编码。
其中,第一指标获取单元261、添加语句生成单元262、第一指标更新单元263、第二指标获取单元264、删除语句生成单元265以及第二指标更新单元266的具体实现方式,可以参见上述图3所对应实施例中步骤S103的描述,这里将不再进行赘述。
其中,目标采集指标包括指标Si,i为小于或等于所述目标采集指标的总数量的正整数;
请参见图8,字段解析存储模块27包括:字段解析单元271、业务数据确定单元272、存储位置确定单元273以及业务数据添加单元274。
字段解析单元271:用于解析指标上报字段,得到指标Si的指标编码和与指标Si相关联的指标业务数据编码,
业务数据确定单元272:用于根据上报规则确定指标业务数据编码所映射的指标业务数据;
存储位置确定单元273:用于在目标数据表中查找与指标Si的指标编码相关联的表格存储位置;
业务数据添加单元274:将指标Si相关联的指标业务数据添加至表格存储位置。
其中,字段解析单元271、业务数据确定单元272、存储位置确定单元273以及业务数据添加单元274的具体实现方式,可以参见上述图3所对应实施例中步骤S104的描述,这里将不再进行赘述。
请参见图8,该数据处理装置2还可以包括:第三获取模块28以及数据表更新模块29。
第三获取模块28:用于获取根据当前数据表生成的相关数据表;
数据表更新模块29:用于根据差异采集指标修改相关数据表的查询语句,更新相关数据表。
其中,第三获取模块28以及数据表更新模块29的具体实现方式,可以参见上述图3所对应实施例中步骤S103的描述,这里将不再进行赘述。
进一步的,请参见图9,图9是本申请实施例提供的一种计算机设备的结构示意图。如图9所示,该计算机设备1000可以应用于数仓服务器,该数仓服务器可以为上述图1所对应实施例中的服务器12b。该计算机设备1000可以包括:处理器1001,网络接口1004和存储器1005,此外,所述计算机设备1000还可以包括:用户接口1003,和至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可选的可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图9所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
其中,计算机设备1000中的网络接口1004还可以与上述图1所对应实施例中的服务器12a进行网络连接。在图9所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现:
接收业务服务器发送的与目标业务相关联的指标上报字段;
从业务服务器中获取上报规则,从上报规则中提取目标采集指标;指标上报字段所映射的采集指标为目标采集指标;
在数据仓库中,获取与目标业务相关联的当前数据表;
根据目标采集指标与当前数据表所包含的当前采集指标,确定差异采集指标;
根据差异采集指标更新当前数据表,得到目标数据表;目标数据表包含所述目标采集指标;
对指标上报字段进行解析,得到与目标采集指标相关联的指标业务数据,将指标业务数据存储至目标数据表中。
应当理解,本申请实施例中所描述的计算机设备1000可执行前文图3所对应实施例中对数仓服务器的描述,也可执行前文图8所对应实施例中对所述数据处理装置2的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本申请实施例还提供了一种计算机存储介质,且所述计算机存储介质中存储有前文提及的数据处理装置2所执行的计算机程序,且所述计算机程序包括程序指令,当所述处理器执行所述程序指令时,能够执行前文图3所对应实施例中对所述数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。
进一步的,请参见图10,图10是本发明实施例提供的另一种数据处理装置的结构示意图。如图10所示,数据处理装置3可以应用于上述图3-图6对应实施例中的业务服务器,数据处理装置3可以包括:指令获取模块31、规则生成模块32、业务数据获取模块33、封装模块34、规则发送模块35以及字段发送模块36。
指令获取模块31:用于获取指标更新指令;
规则处理模块32:用于根据指标更新指令生成上报规则,将上报规则发送至数仓服务器;;
业务数据获取模块33:用于接收目标业务相关联的上报数据,根据上报规则在上报数据中获取指标业务数据;
封装模块34:用于根据上报规则对目标采集指标和指标业务数据进行封装,得到指标上报字段;
字段发送模块35:用于将指标上报字段发送至数仓服务器,以使数仓服务器根据差异采集指标对当前数据表进行更新,得到目标数据表,将目标采集指标相关联的指标业务数据存储至目标数据表;所述差异采集指标是指上报规则中的目标采集指标与当前数据表所包含的当前采集指标之间的差异内容;目标采集指标相关联的指标业务数据是由数仓服务器基于上报规则对指标上报字段进行解析得到的。
其中,指令获取模块31、规则生成模块32、业务数据获取模块33、封装模块345以及字段发送模块35的具体实现方式,可以参见上述图6所对应实施例中步骤S201-S204的描述,这里将不再进行赘述。
请参见图10,指令获取模块31包括:响应单元311、指标确定单元312以及指令生成单元313。
响应单元311:用于响应指标配置管理界面中针对字典表的保存操作;
指标确定单元312:用于将所述字典表中处于已上线状态的指标,确定为目标采集指标;
指令生成单元313:用于根据目标采集指标生成指标更新指令。
其中,响应单元311、指标确定单元312以及指令生成单元313的具体实现方式,可以参见上述图4所对应实施例中指标更新指令获取的描述,这里将不再进行赘述。
请参见图10,规则处理模块32包括:编码信息获取单元321、规则生成单元322以及规则发送单元323。
编码信息获取单元321:用于根据指标更新指令,获取字典映射表中与目标采集指标有映射关系的指标编码和指标业务数据编码,作为目标编码信息;
规则生成单元322:用于根据目标采集指标和目标编码信息生成上报规则。
规则发送单元323:用于将上报规则发送至数仓服务器;
其中,编码信息获取单元321、规则生成单元322以及规则发送单元323的具体实现方式,可以参见上述图4所对应实施例中上报规则生成的描述,这里将不再进行赘述。
请参见图10,业务数据获取模块33包括:上报数据接收单元331、数据指标确定单元332、接口修改单元333以及指标业务数据获取单元334。
上报数据接收单元331,用于接收目标业务相关联的上报数据;所述上报数据包括N个业务数据,N为正整数;
数据指标确定单元332,用于确定所述N个业务数据中每个业务数据所属的采集指标;
接口修改单元333,用于根据上报规则,修改数据获取接口;
指标业务数据获取单元334,用于通过数据获取接口,在上报数据中获取采集指标属于目标采集指标的业务数据,作为指标业务数据。
其中,上报数据接收单元331、数据指标确定单元332、接口修改单元333以及指标业务数据获取单元334的具体实现方式,可以参见上述图6所对应实施例中步骤S203的描述,这里将不再进行赘述。
请参见图10,封装模块包括34:编码查找单元341以及字段封装单元342。
编码查找单元341:用于在上报规则中查找与指标业务数据具有映射关系的指标业务数据编码,作为上报指标业务数据编码;
编码查找单元341:还用于获取与目标采集指标有映射关系的指标编码,作为上报指标编码;
字段封装单元342:用于将上报指标业务数据编码和上报指标编码封装为指标上报字段。
其中,编码查找单元341以及字段封装单元342的具体实现方式,可以参见上述图6所对应实施例中步骤S203的描述,这里将不再进行赘述。
进一步地,请参见图11,图11是本申请实施例提供的另一种计算机设备的结构示意图。如图11所示,该计算机设备2000可以应用于业务服务器,该业务服务器可以为上述图1所对应实施例中的服务器12a。该计算机设备2000可以包括:处理器2001,网络接口2004和存储器2005,此外,所述计算机设备还可以包括:用户接口2003,和至少一个通信总线2002。其中,通信总线2002用于实现这些组件之间的连接通信。其中,用户接口2003可选的可以包括标准的有线接口、无线接口。网络接口2004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器2005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器2005可选的还可以是至少一个位于远离前述处理器2001的存储装置。如图11所示,作为一种计算机存储介质的存储器2005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
其中,计算机设备2000中的网络接口2004还可以与上述图1所对应实施例中的服务器12b进行网络连接。在图11所示的计算机设备2000中,网络接口2004可提供网络通讯功能;而用户接口2003主要用于为用户提供输入的接口;而处理器2001可以用于调用存储器2005中存储的设备控制应用程序,以实现:
获取指标更新指令,根据指标更新指令生成上报规则,将上报规则发送至数仓服务器;上报规则包括目标采集指标;
接收目标业务相关联的上报数据,根据上报规则在上报数据中获取指标业务数据;
根据上报规则对目标采集指标和指标业务数据进行封装,得到指标上报字段;
将指标上报字段发送至数仓服务器,以使数仓服务器根据差异采集指标对当前数据表进行更新,得到目标数据表,将目标采集指标相关联的指标业务数据存储至目标数据表;差异采集指标是指上报规则中的目标采集指标与当前数据表所包含的当前采集指标之间的差异内容;目标采集指标相关联的指标业务数据是由数仓服务器基于上报规则对指标上报字段进行解析得到的。
应当理解,本申请实施例中所描述的计算机设备2000可执行前文图6所对应实施例中对业务服务器的描述,也可执行前文图10所对应实施例中对所述数据处理装置3的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述
此外,这里需要指出的是:本申请实施例还提供了一种计算机可读存储介质,且上述计算机可读存储介质中存储有前文提及的数据处理的计算机设备2000所执行的计算机程序,且上述计算机程序包括程序指令,当上述处理器执行上述程序指令时,能够执行前文图6所对应实施例中对上述数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。
上述计算机可读存储介质可以是前述任一实施例提供的数据处理装置或者上述计算机设备的内部存储单元,例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(secure digital,SD)卡,闪存卡(flash card)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (10)
1.一种数据处理方法,其特征在于,包括:
接收业务服务器发送的与目标业务相关联的指标上报字段;
从所述业务服务器中获取上报规则,从所述上报规则中提取目标采集指标;所述指标上报字段所映射的采集指标为所述目标采集指标;
在数据仓库中,获取与所述目标业务相关联的当前数据表;
根据所述目标采集指标与所述当前数据表所包含的当前采集指标,确定差异采集指标;
根据所述差异采集指标更新所述当前数据表,得到目标数据表;所述目标数据表包含所述目标采集指标;
对所述指标上报字段进行解析,得到与所述目标采集指标相关联的指标业务数据,将所述指标业务数据存储至所述目标数据表中。
2.根据权利要求1所述的方法,其特征在于,所述根据所述差异采集指标更新所述当前数据表,得到目标数据表,包括:
若所述差异采集指标属于所述目标采集指标,且不属于所述当前数据表所包含的当前采集指标,则从所述上报规则中提取与所述差异采集指标具有映射关系的指标编码,作为差异指标编码;
根据所述差异指标编码生成针对所述当前数据表的指标添加查询语句;
根据所述指标添加查询语句,在所述当前数据表中添加所述差异指标编码,得到目标数据表;所述目标数据表包含与所述目标采集指标具有映射关系的指标编码。
3.根据权利要求1所述的方法,其特征在于,所述根据所述差异采集指标更新所述当前数据表,得到目标数据表,包括:
若所述差异采集指标属于所述当前数据表所包含的当前采集指标,且不属于所述目标采集指标,则从所述当前数据表中获取与所述差异采集指标具有映射关系的指标编码,作为差异指标编码;
根据所述差异指标编码生成针对所述当前数据表的指标删除查询语句;根据所述指标删除查询语句,在所述当前数据表中删除所述差异指标编码,得到目标数据表;所述目标数据表包含与所述目标采集指标具有映射关系的指标编码。
4.根据权利要求2或3所述的方法,其特征在于,所述目标采集指标包括指标Si,i为小于或等于所述目标采集指标的总数量的正整数;
所述对所述指标上报字段进行解析,得到与所述目标采集指标相关联的指标业务数据,将所述指标业务数据存储至所述目标数据表中,包括:
解析所述指标上报字段,得到所述指标Si的指标编码和与所述指标Si相关联的指标业务数据编码,根据所述上报规则确定所述指标业务数据编码所映射的指标业务数据;
在所述目标数据表中查找与所述指标Si的指标编码相关联的表格存储位置;
将所述指标Si相关联的指标业务数据添加至所述表格存储位置。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取根据所述当前数据表生成的相关数据表;
根据所述差异采集指标修改所述相关数据表的查询语句,更新所述相关数据表。
6.一种数据处理方法,其特征在于,包括:
获取指标更新指令,根据所述指标更新指令生成上报规则,将所述上报规则发送至数仓服务器;所述上报规则包括目标采集指标;
接收目标业务相关联的上报数据,根据所述上报规则在所述上报数据中获取指标业务数据;
根据所述上报规则对所述目标采集指标和所述指标业务数据进行封装,得到指标上报字段;
将所述指标上报字段发送至所述数仓服务器,以使数仓服务器根据差异采集指标对当前数据表进行更新,得到目标数据表,将所述目标采集指标相关联的指标业务数据存储至所述目标数据表;所述差异采集指标是指所述上报规则中的所述目标采集指标与当前数据表所包含的当前采集指标之间的差异内容;所述目标采集指标相关联的指标业务数据是由所述数仓服务器基于所述上报规则对所述指标上报字段进行解析得到的。
7.根据权利要求6所述的方法,其特征在于,所述获取指标更新指令,根据所述指标更新指令生成上报规则,包括:
响应指标配置管理界面中针对字典表的保存操作,将所述字典表中处于已上线状态的指标,确定为目标采集指标,根据所述目标采集指标生成指标更新指令;
根据所述指标更新指令,获取字典映射表中与所述目标采集指标有映射关系的指标编码和指标业务数据编码,作为目标编码信息;
根据所述目标采集指标和所述目标编码信息生成上报规则;
则所述根据所述上报规则对所述目标采集指标和所述指标业务数据进行封装,得到指标上报字段,包括:
在所述上报规则中查找与所述指标业务数据具有映射关系的指标业务数据编码,作为上报指标业务数据编码;
获取与所述目标采集指标有映射关系的指标编码,作为上报指标编码;
将所述上报指标业务数据编码和所述上报指标编码封装为指标上报字段。
8.根据权利要求6所述的方法,其特征在于,所述接收目标业务相关联的上报数据,根据所述上报规则在所述上报数据中获取指标业务数据,包括:
接收目标业务相关联的上报数据;所述上报数据包括N个业务数据,N为正整数;
根据所述上报规则,修改数据获取接口;
确定所述N个业务数据中每个业务数据所属的采集指标;
通过修改后的数据获取接口,在所述上报数据中获取采集指标属于所述目标采集指标的业务数据,作为指标业务数据。
9.一种计算机设备,其特征在于,包括:处理器、存储器以及网络接口;
所述处理器与所述存储器、所述网络接口相连,其中,所述网络接口用于提供网络通信功能,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行权利要求1-8任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,执行权利要求1-8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011062992.2A CN112131239A (zh) | 2020-09-30 | 2020-09-30 | 一种数据处理方法、计算机设备以及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011062992.2A CN112131239A (zh) | 2020-09-30 | 2020-09-30 | 一种数据处理方法、计算机设备以及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112131239A true CN112131239A (zh) | 2020-12-25 |
Family
ID=73843603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011062992.2A Pending CN112131239A (zh) | 2020-09-30 | 2020-09-30 | 一种数据处理方法、计算机设备以及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112131239A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113055296A (zh) * | 2021-03-16 | 2021-06-29 | 烽火通信科技股份有限公司 | 一种数据处理方法、装置、系统以及终端设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070239769A1 (en) * | 2006-04-07 | 2007-10-11 | Cognos Incorporated | Packaged warehouse solution system |
CN102202073A (zh) * | 2010-03-24 | 2011-09-28 | 杭州华三通信技术有限公司 | 一种分布式系统及其数据同步方法 |
CN108399154A (zh) * | 2017-12-28 | 2018-08-14 | 北京金科汇智科技有限公司 | 工程试验数据采集系统 |
CN109977110A (zh) * | 2019-04-28 | 2019-07-05 | 杭州数梦工场科技有限公司 | 数据清洗方法、装置及设备 |
CN110019486A (zh) * | 2018-07-19 | 2019-07-16 | 平安科技(深圳)有限公司 | 数据采集方法、装置、设备及存储介质 |
-
2020
- 2020-09-30 CN CN202011062992.2A patent/CN112131239A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070239769A1 (en) * | 2006-04-07 | 2007-10-11 | Cognos Incorporated | Packaged warehouse solution system |
CN102202073A (zh) * | 2010-03-24 | 2011-09-28 | 杭州华三通信技术有限公司 | 一种分布式系统及其数据同步方法 |
CN108399154A (zh) * | 2017-12-28 | 2018-08-14 | 北京金科汇智科技有限公司 | 工程试验数据采集系统 |
CN110019486A (zh) * | 2018-07-19 | 2019-07-16 | 平安科技(深圳)有限公司 | 数据采集方法、装置、设备及存储介质 |
CN109977110A (zh) * | 2019-04-28 | 2019-07-05 | 杭州数梦工场科技有限公司 | 数据清洗方法、装置及设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113055296A (zh) * | 2021-03-16 | 2021-06-29 | 烽火通信科技股份有限公司 | 一种数据处理方法、装置、系统以及终端设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111526060B (zh) | 业务日志的处理方法及系统 | |
CN112685433B (zh) | 元数据更新方法、装置、电子设备及计算机可读存储介质 | |
CN109104405B (zh) | 二进制协议编码、解码方法和装置 | |
CN111090417B (zh) | 二进制文件解析方法、装置、设备及介质 | |
CN115061721A (zh) | 一种报表生成方法、装置、计算机设备及存储介质 | |
CN111241182A (zh) | 数据处理方法和装置、存储介质和电子装置 | |
CN110688118B (zh) | 一种网页优化方法及装置 | |
CN111324619B (zh) | 微服务系统中的对象更新方法、装置、设备和存储介质 | |
CN112711438A (zh) | 依赖组件信息提取方法、设备及计算机可读存储介质 | |
CN111460241B (zh) | 一种数据查询方法、装置、电子设备及存储介质 | |
CN116483850A (zh) | 数据处理方法、装置、设备以及介质 | |
CN112131239A (zh) | 一种数据处理方法、计算机设备以及可读存储介质 | |
CN111159142B (zh) | 一种数据处理方法及装置 | |
CN111782738A (zh) | 构建数据仓库表级别血缘关系的方法及装置 | |
CN113515715B (zh) | 埋点事件编码的生成方法、处理方法及相关设备 | |
CN115186214A (zh) | 页面配置方法、装置、计算机设备及计算机可读存储介质 | |
CN113868138A (zh) | 测试数据的获取方法、系统、设备及存储介质 | |
CN112752165A (zh) | 字幕处理方法、装置、服务器及计算机可读存储介质 | |
CN116594658B (zh) | 针对元数据的版本升级方法、装置、电子设备和介质 | |
CN110750563A (zh) | 多模型数据处理方法、系统、装置、电子设备及存储介质 | |
CN113992549B (zh) | 一种测试方法、装置、电子设备及存储介质 | |
CN112965993B (zh) | 一种数据处理系统、方法、装置及存储介质 | |
CN111563389B (zh) | 一种用户原创内容的翻译方法和装置 | |
CN111310414B (zh) | Rdf格式文件的解析方法及生成方法 | |
CN117634427A (zh) | 自动生成编码的配置方法、表单编码生成方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |