CN115017240A - 数据的提供方法及装置、处理器和电子设备 - Google Patents
数据的提供方法及装置、处理器和电子设备 Download PDFInfo
- Publication number
- CN115017240A CN115017240A CN202210770079.0A CN202210770079A CN115017240A CN 115017240 A CN115017240 A CN 115017240A CN 202210770079 A CN202210770079 A CN 202210770079A CN 115017240 A CN115017240 A CN 115017240A
- Authority
- CN
- China
- Prior art keywords
- target
- data
- original
- variables
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种数据的提供方法及装置、处理器和电子设备,涉及大数据领域。该方法包括:获取N个原始数据,其中,原始数据为目标数据仓库待提供给目标业务系统的数据,N为大于1的正整数;基于N个原始数据,得到目标变量集合,其中,目标变量集合中的目标变量用于表示原始数据的字段信息,目标变量集合中的任意一个目标变量由至少两个原始数据确定;依据目标变量集合和目标变量对应的数据构建目标报表,并将目标报表中的目标数据提供给目标业务系统。通过本申请,解决了相关技术中数据仓库需要先定时批量加载数据,然后再为业务系统提供数据,导致数据仓库为业务系统提供数据的效率较低的问题。
Description
技术领域
本申请涉及大数据领域,具体而言,涉及一种数据的提供方法及装置、处理器和电子设备。
背景技术
目前,数据仓库是金融服务机构统一、共享的基础数据平台。而且,随着基于数据仓库的各个业务应用的发展,业务系统中所需处理的数据量越来越大,以及各业务系统对于数据时效性的要求越来越高。
如图1所示,目前相关技术中,灵活查询平台仅支持查看数据仓库中的数据,并不能做任何操作。故当数据仓库向业务系统提供数据时,业务系统应用端需要先通过业务系统数据库查看相关数据,而业务系统数据库需要等待数据仓库的定时批量加载才能完成数据更新。因此,目前相关技术中的数据仓库在实时交互功能上有所欠缺,即以每日定时批量加载为下游系统提供数据的数据仓库的管理模式的时效性较低,已经无法满足当前业务系统高时效的需求。
针对相关技术中数据仓库需要先定时批量加载数据,然后再为业务系统提供数据,导致数据仓库为业务系统提供数据的效率较低的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种数据的提供方法及装置、处理器和电子设备,以解决相关技术中数据仓库需要先定时批量加载数据,然后再为业务系统提供数据,导致数据仓库为业务系统提供数据的效率较低的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种数据的提供方法。该方法包括:获取N个原始数据,其中,所述原始数据为目标数据仓库待提供给目标业务系统的数据,N为大于1的正整数;基于所述N个原始数据,得到目标变量集合,其中,所述目标变量集合中的目标变量用于表示所述原始数据的字段信息,所述目标变量集合中的任意一个目标变量由至少两个所述原始数据确定;依据所述目标变量集合和所述目标变量对应的数据构建目标报表,并将所述目标报表中的目标数据提供给所述目标业务系统。
进一步地,获取N个原始数据包括:获取所述原始数据的数据源;判断所述数据源需求的数据是否为实时数据;若所述数据源需求的数据是实时数据,则从目标设备中获取所述N个原始数据,其中,所述目标设备为以下至少之一:所述目标数据仓库、所述目标数据仓库中的目标数据库,所述目标数据库为第一业务系统对应的数据库,所述第一业务系统为除所述目标业务系统之外的业务系统;若所述数据源需求的数据不是实时数据,则从目标文件中获取所述N个原始数据,其中,所述目标文件为依据所述目标数据仓库中的第一数据得到的文件。
进一步地,所述目标变量集合中包括以下至少之一:原始变量、衍生变量,基于所述N个原始数据,得到目标变量集合包括:判断是否将每个原始数据加工处理为所述衍生变量;若将每个原始数据加工处理为所述衍生变量,则对每个原始数据进行加工处理,得到多个衍生变量;若不是将每个原始数据加工处理为所述衍生变量,则从所述目标设备或者所述目标文件中获取每个原始数据对应的原始变量,得到多个原始变量;将所述多个衍生变量或者所述多个原始变量进行汇总,得到所述目标变量集合。
进一步地,对每个原始数据进行加工处理,得到多个衍生变量的方式为以下至少之一:对每个原始数据进行目标运算,得到所述多个衍生变量;采用目标算法对每个原始数据进行加工处理,得到所述多个衍生变量;依据目标脚本对每个原始数据进行加工处理,得到所述多个衍生变量。
进一步地,依据所述目标变量集合和所述目标变量对应的数据构建目标报表包括:依据所述目标变量集合中的目标变量,确定所述目标报表的格式;基于所述目标报表的格式和所述目标变量对应的数据,构建所述目标报表。
进一步地,从目标设备中获取所述原始数据包括:确定所述目标设备的类型;依据所述目标设备的类型,确定第一文件,其中,所述第一文件为以下至少之一:表格文件或者视图文件;获取所述第一文件中的多个字段;依据所述多个字段,对所述第一文件中的数据进行筛选,得到所述原始数据。
进一步地,在从目标文件中获取所述原始数据之前,所述方法还包括:获取所述目标数据仓库中的第一数据;依据所述目标数据仓库中的第一数据,确定多个第二数据;依据所述多个第二数据和目标字段,得到所述目标文件,或者,依据所述多个第二数据和目标表结构,得到所述目标文件。
进一步地,在依据所述目标变量集合和所述目标变量对应的数据构建目标报表之后,所述方法还包括:获取目标信息,其中,所述目标信息为以下至少之一:目标用户的登录信息、对所述目标数据仓库进行目标操作的操作信息,所述目标用户为访问所述目标数据仓库的用户;依据所述目标信息,生成目标日志。
进一步地,在依据所述目标变量集合和所述目标变量对应的数据构建目标报表之后,所述方法还包括:获取目标代码,其中,所述目标代码用于表示对所述目标数据仓库进行所述目标操作的过程;将所述目标代码提供给目标对象,其中,所述目标对象为开发所述目标数据仓库的对象。
为了实现上述目的,根据本申请的另一方面,提供了一种数据的提供装置。该装置包括:第一获取单元,用于获取N个原始数据,其中,所述原始数据为目标数据仓库待提供给目标业务系统的数据,N为大于1的正整数;第一确定单元,用于基于所述N个原始数据,得到目标变量集合,其中,所述目标变量集合中的目标变量用于表示所述原始数据的字段信息,所述目标变量集合中的任意一个目标变量由至少两个所述原始数据确定;第一处理单元,用于依据所述目标变量集合和所述目标变量对应的数据构建目标报表,并将所述目标报表中的目标数据提供给所述目标业务系统。
进一步地,所述第一获取单元包括:第一获取模块,用于获取所述N个原始数据的数据源;第一判断模块,用于判断所述数据源需求的数据是否为实时数据;第二获取模块,用于若所述数据源需求的数据是实时数据,则从目标设备中获取所述N个原始数据,其中,所述目标设备为以下至少之一:所述目标数据仓库、所述目标数据仓库中的目标数据库,所述目标数据库为第一业务系统对应的数据库,所述第一业务系统为除所述目标业务系统之外的业务系统;第三获取模块,用于若所述数据源需求的数据不是实时数据,则从目标文件中获取所述N个原始数据,其中,所述目标文件为依据所述目标数据仓库中的第一数据得到的文件。
进一步地,所述目标变量集合中包括以下至少之一:原始变量、衍生变量,所述第一确定单元包括:第二判断模块,用于判断是否将每个原始数据加工处理为所述衍生变量;第一加工处理模块,用于若将每个原始数据加工处理为所述衍生变量,则对每个原始数据进行加工处理,得到多个衍生变量;第四获取模块,用于若不是将每个原始数据加工处理为所述衍生变量,则从所述目标设备或者所述目标文件中获取每个原始数据对应的原始变量,得到多个原始变量;第一确定模块,用于将所述多个衍生变量或者所述多个原始变量进行汇总,得到所述目标变量集合。
进一步地,所述第一加工处理模块为以下至少之一:第一运算模块,用于对每个原始数据进行目标运算,得到所述多个衍生变量;第二加工处理模块,用于采用目标算法对每个原始数据进行加工处理,得到所述多个衍生变量;第三加工处理模块,用于依据目标脚本对每个原始数据进行加工处理,得到所述多个衍生变量。
进一步地,所述第一处理单元包括:第二确定模块,用于依据所述目标变量集合中的目标变量,确定所述目标报表的格式;第一构建模块,用于基于所述目标报表的格式和所述目标变量对应的数据,构建所述目标报表。
进一步地,所述第二获取模块包括:第一确定子模块,用于确定所述目标设备的类型;第二确定子模块,用于依据所述目标设备的类型,确定第一文件,其中,所述第一文件为以下至少之一:表格文件或者视图文件;第一获取子模块,用于获取所述第一文件中的多个字段;第一筛选子模块,用于依据所述多个字段,对所述第一文件中的数据进行筛选,得到所述原始数据。
进一步地,所述装置还包括:第二获取单元,用于在从目标文件中获取所述原始数据之前,获取所述目标数据仓库中的第一数据;第二确定单元,用于依据所述目标数据仓库中的第一数据,确定多个第二数据;第三确定单元,用于依据所述多个第二数据和目标字段,得到所述目标文件,或者,依据所述多个第二数据和目标表结构,得到所述目标文件。
进一步地,所述装置还包括:第三获取单元,用于在依据所述目标变量集合和所述目标变量对应的数据构建目标报表之后,获取目标信息,其中,所述目标信息为以下至少之一:目标用户的登录信息、对所述目标数据仓库进行目标操作的操作信息,所述目标用户为访问所述目标数据仓库的用户;第一生成单元,用于依据所述目标信息,生成目标日志。
进一步地,所述装置还包括:第四获取单元,用于在依据所述目标变量集合和所述目标变量对应的数据构建目标报表之后,获取目标代码,其中,所述目标代码用于表示对所述目标数据仓库进行所述目标操作的过程;第一提供单元,用于将所述目标代码提供给目标对象,其中,所述目标对象为开发所述目标数据仓库的对象。
为了实现上述目的,根据本申请的另一方面,提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述的任意一项所述的数据的提供方法。
为了实现上述目的,根据本申请的另一方面,提供了一种电子设备,所述电子设备包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现上述的任意一项所述的数据的提供方法。
通过本申请,采用以下步骤:获取N个原始数据,其中,原始数据为目标数据仓库待提供给目标业务系统的数据,N为大于1的正整数;基于N个原始数据,得到目标变量集合,其中,目标变量集合中的目标变量用于表示原始数据的字段信息,目标变量集合中的任意一个目标变量由至少两个原始数据确定;依据目标变量集合和目标变量对应的数据构建目标报表,并将目标报表中的目标数据提供给目标业务系统,解决了相关技术中数据仓库需要先定时批量加载数据,然后再为业务系统提供数据,导致数据仓库为业务系统提供数据的效率较低的问题。通过基于从数据仓库获取到的N个原始数据,得到变量集合,并依据变量集合和每个变量对应的数据构建报表,再将报表中的数据提供给业务系统,从而达到了提升数据仓库为业务系统提供数据的效率的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据现有技术提供的一种数据仓库向业务系统提供数据的示意图;
图2是根据本申请实施例提供的数据的提供方法的流程图;
图3是本申请实施例中的数据仓库向业务系统提供数据的示意图;
图4是本申请实施例中的使用数据仓库实时服务平台的示意图;
图5是本申请实施例中的使用数据接入管理模块(接口管理)的流程图;
图6是本申请实施例中的使用变量管理模块的流程图;
图7是本申请实施例中的使用数据输出管理模块的流程图;
图8是根据本申请实施例提供的可选的数据的提供方法的流程图;
图9是根据本申请实施例提供的数据的提供装置的示意图;
图10是根据本申请实施例提供的电子设备的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。例如,本系统和相关用户或机构间设置有接口,在获取相关信息之前,需要通过接口向前述的用户或机构发送获取请求,并在接收到前述的用户或机构反馈的同意信息后,获取相关信息。
下面结合优选的实施步骤对本发明进行说明,图2是根据本申请实施例提供的数据的提供方法的流程图,如图2所示,该方法包括如下步骤:
步骤S201,获取N个原始数据,其中,原始数据为目标数据仓库待提供给目标业务系统的数据,N为大于1的正整数。
例如,如图3所示,可以通过搭建一套直连获取、衍生加工、实时对接的数据仓库实时服务平台(以下简称:实时服务平台),实现数据接入、衍生加工、数据输出的实时传输和管理,即数据仓库实时服务平台通过实时接口调用,在数据仓库与业务系统应用端起到了桥梁的作用。而且,实时服务平台主要由用户管理模块、数据接入管理模块、变量管理模块、数据输出管理模块、日志管理模块、接口调用监控模块、其它模块组成。
另外,图4是本申请实施例中的使用数据仓库实时服务平台的示意图,如图4所示,业务系统A和业务系统B分别向实时服务平台发送用数请求,然后实时服务平台向数据仓库分发请求,并申请数据,数据仓库响应请求,并提供数据给实时服务平台,然后实时服务平台再分别返回结果至业务系统A和业务系统B。
所以,在本实施例中,当业务系统发送用数请求时,先通过实时服务平台中的数据接入管理模块从数据仓库中获取数据。
步骤S202,基于N个原始数据,得到目标变量集合,其中,目标变量集合中的目标变量用于表示原始数据的字段信息,目标变量集合中的任意一个目标变量由至少两个原始数据确定。
例如,将通过数据接入管理模块获取到的数据发送至变量管理模块,可以得到数据对应的多个变量,即得到数据对应的多个字段。
步骤S203,依据目标变量集合和目标变量对应的数据构建目标报表,并将目标报表中的目标数据提供给目标业务系统。
例如,将得到的变量发送至数据输出管理模块,数据输出管理模块可以根据获取到的变量和变量对应的数据构建报表,然后再将报表中的数据提供给发送用数请求的业务系统。
通过上述的步骤S201至S203,通过基于从数据仓库获取到的N个原始数据,得到变量集合,并依据变量集合和每个变量对应的数据构建报表,再将报表中的数据提供给业务系统,从而达到了提升数据仓库为业务系统提供数据的效率的效果。
为了快速准确的得到N个原始数据,在本申请实施例提供的数据的提供方法中,还可以通过以下步骤获取N个原始数据:获取N个原始数据的数据源;判断数据源需求的数据是否为实时数据;若数据源需求的数据是实时数据,则从目标设备中获取N个原始数据,其中,目标设备为以下至少之一:目标数据仓库、目标数据仓库中的目标数据库,目标数据库为第一业务系统对应的数据库,第一业务系统为除目标业务系统之外的业务系统;若数据源需求的数据不是实时数据,则从目标文件中获取N个原始数据,其中,目标文件为依据目标数据仓库中的第一数据得到的文件。
例如,实时服务平台可以支持两种类型的数据接入,分别为API接口(ApplicationProgramming Interface,应用程序编程接口)接入(接口管理)和文件数据导入(文件管理)。而且,数据接入管理模块包括对通过接口接入的数据源以及通过文件导入的数据源的集中管理,包括查询、新增、编辑、启用、禁用、审批、删除、拷贝等功能。
当进入到数据接入管理模块时,先选用或导入所需的数据作为数据源;如果数据源需要实时数据,则通过接口接入数据仓库进行访问,同时也可整合从其它接口接入进来的实时数据;如果数据源需要用户从本地提供,则可通过文件导入方式上传,作为数据源。另外,上述的实时数据为数据仓库中的原始数据,即未经过任何加工的数据,且如果数据需要进行加工,则可以对数据仓库中的原始数据加工后,将加工过的数据存储在本地文件中。
综上所述,通过接口管理和文件管理两种方式,可以准确的得到待提供给业务系统的数据。
为了使数据仓库快速的向业务系统提供数据,如何从目标设备中获取原始数据也是关键点之一,在本申请实施例提供的数据的提供方法中,对如何从目标设备中获取原始数据进行了进一步限定,从目标设备中获取原始数据可以采用以下技术特征实现:确定目标设备的类型;依据目标设备的类型,确定第一文件,其中,第一文件为以下至少之一:表格文件或者视图文件;获取第一文件中的多个字段;依据多个字段,对第一文件中的数据进行筛选,得到原始数据。
例如,接口管理模块可实现以接口的前端配置化形式来接入数据源。接口管理模块用于对接口形式接入的数据源的集中管理。而且,图5是本申请实施例中的使用数据接入管理模块(接口管理)的流程图,如图5所示,具体步骤为:
步骤1:用户通过API接口连接数据库。
步骤2:选择一种接口管理功能(以新增接口为例);
步骤3:选择数据库类型(数据仓库常见数据库类型有集市层、汇总层、模型层等);
步骤4:选择该数据库下的表或视图;
步骤5:选择该表或视图中所需的字段,其中,主键字段默认为必选字段;
步骤6:添加该表或视图查询条件进行筛选控制;
步骤7:返回实时数据;
步骤8:进入到变量管理模块。
其中,接口管理模块在使用时,新增接口的功能也可建立在已存在的接口上,可对其进行复用、编辑等操作,从而形成一个新增的接口。
此外,整个接口管理模块中的数据库类型选择、表或视图选择、字段选择等,都可通过JSON(一种下拉框的技术)或XML(另一种下拉框的技术)下拉进行操作。
通过上述的方案,可以快速准确的从数据仓库中获取实时的数据。
为了快速准确的得到目标文件,在本申请实施例提供的数据的提供方法中,还可以通过以下步骤得到目标文件:获取目标数据仓库中的第一数据;依据目标数据仓库中的第一数据,确定多个第二数据;依据多个第二数据和目标字段,得到目标文件,或者,依据多个第二数据和目标表结构,得到目标文件。
例如,实时服务平台支持在前端页面上通过配置化的方式直接建表,并将文件中的数据插入表中,表中数据可在实时服务平台实现整合及输出使用等,也可以将文件数据快速导入的方式实现数据接入。文件数据包括了通过bin、txt、excel、csv等文件导入到实时服务平台的数据。而且,当数据的接入为文件数据导入时,可以通过以下两种方法实现:
方法一:可对即将创建的表中的各字段进行定义,即用户可以首先自定义录入字段,创建完成字段后,再导入数据(bin或txt格式);
方法二:可直接导入整表内容,即导入表结构及数据,选择上传文件(excel或csv格式)。
而且,用户通过文件管理模块导入的数据主要为实时业务数据(实时参数信息等)、需要自定义的数据、模拟测试的数据等等。此外,这些由用户自行导入的数据可配合API接口返回的实时数据一起进行整合。
综上所述,通过前端页面可视化快速配置,可以实现对多种数据源的高效接入,同时减少代码开发,从而可以提高数据的接入效率。
为了使数据仓库快速的向业务系统提供数据,如何基于N个原始数据,得到目标变量集合也是关键点之一,在本申请实施例提供的数据的提供方法中,对基于N个原始数据,得到目标变量集合进行了进一步限定,基于N个原始数据,得到目标变量集合可以采用以下技术特征实现:判断是否将每个原始数据加工处理为衍生变量;若将每个原始数据加工处理为衍生变量,则对每个原始数据进行加工处理,得到多个衍生变量;若不是将每个原始数据加工处理为衍生变量,则从目标设备或者目标文件中获取每个原始数据对应的原始变量,得到多个原始变量;将多个衍生变量或者多个原始变量进行汇总,得到目标变量集合。
例如,变量是实时服务平台整合多种数据来源的数据后形成的可对外输出的标准数据字段。变量管理模块用于对变量的集中管理,包括查询、新增、编辑、查看、启用、禁用、审批、调用详情查看、删除等功能。而且,变量包含原始变量和衍生变量。其中,原始变量是数据接入管理模块(接口返回或者文件导入)中获取到的原始变量;衍生变量是对变量的进一步加工和衍生,并可以对原始变量进行衍生或多次衍生。
图6是本申请实施例中的使用变量管理模块的流程图,如图6所示,具体步骤为:
步骤1:由数据接入管理模块获取到的实时数据作为数据源;
步骤2:数据源通过变量管理模块进行加工;
步骤3:选择是否作为衍生变量进行进一步加工。如果“否”,则直接跳到步骤5;如果“是”,则进行步骤4;
步骤4:对变量进行加工,得到衍生变量;
步骤5:处理完所有变量后,得到所需变量结果;
步骤6:进入到数据输出管理模块。
通过上述的方案,根据获取到的数据,可以快速的得到多个变量,从而可以为后续构建的报表做铺垫。
为了快速准确的得到衍生变量,在本申请实施例提供的数据的提供方法中,还可以通过以下步骤得到衍生变量:对每个原始数据进行目标运算,得到多个衍生变量;采用目标算法对每个原始数据进行加工处理,得到多个衍生变量;依据目标脚本对每个原始数据进行加工处理,得到多个衍生变量。
例如,对于衍生变量的加工,通常分为3种处理方式:(1对原始变量直接进行简单运算后得到衍生变量;(2)支持导入存储过程等算法进行衍生变量的加工处理;(3)支持导入程序脚本进行衍生变量的加工处理。
综上所述,可以通过多种方法对变量进行加工,从而得到衍生变量,进而提升了变量的加工效率。
为了使数据仓库快速的向业务系统提供数据,如何依据目标变量集合和目标变量对应的数据构建目标报表也是关键点之一,在本申请实施例提供的数据的提供方法中,对依据目标变量集合和目标变量对应的数据构建目标报表进行了进一步限定,依据目标变量集合和目标变量对应的数据构建目标报表可以采用以下技术特征实现:依据目标变量集合中的目标变量,确定目标报表的格式;基于目标报表的格式和目标变量对应的数据,构建目标报表。
例如,数据输出管理模块可根据配置自定义输出变量自动生成报表直接在前台页面展现,也可自动生成API文档,从而对接业务系统,形成接口对接。另外,根据接口,业务系统可以对实时服务平台变量进行调用。
图7是本申请实施例中的使用数据输出管理模块的流程图,如图7所示,具体步骤为:
步骤1:由变量管理模块获取的原始变量以及计算得到的衍生变量作为变量结果;
步骤2:用户自定义输出报表格式:包括上传表结构、修改变量名称等操作;
步骤3:通过数据输出管理模块,自动生成结果报表;
步骤4:可进入到其它模块进行更多功能的衍生,也可通过接口对接到其它业务系统使用,也用于在前台页面直接展现。
综上所述,通过生成报表,并进行可视化的展现,从而可以方便的向业务系统提供数据。
为了快速准确的生成目标日志,在本申请实施例提供的数据的提供方法中,还可以通过以下步骤生成目标日志:获取目标信息,其中,目标信息为以下至少之一:目标用户的登录信息、对目标数据仓库进行目标操作的操作信息,目标用户为访问目标数据仓库的用户;依据目标信息,生成目标日志。
例如,日志管理模块可以用于记录用户登录以及对实时服务平台中各模块的操作使用过程进行记录,并形成日志。具体为,先获取访问数据仓库的用户的登录信息和对数据仓库进行上述操作(在用户管理模块、数据接入管理模块、变量管理模块和数据输出管理模块中的操作)的操作信息,然后对获取到的信息进行记录,从而可以生成日志。
通过上述的方案,根据形成的日志,便于后续进行追溯。
为了对数据仓库的版本进行管理,如何快速的对数据仓库进行模拟发版也是关键点之一,在本申请实施例提供的数据的提供方法中,在依据目标变量集合和目标变量对应的数据构建目标报表之后,如何将代码提供给开发人员可以采用以下技术特征实现:获取目标代码,其中,目标代码用于表示对目标数据仓库进行目标操作的过程;将目标代码提供给目标对象,其中,目标对象为开发目标数据仓库的对象。
例如,作为实时服务平台进一步的衍生模块,主要包括模拟发版功能,即用户从数据接入管理模块的数据获取过程、到变量管理模块的变量加工方式、再到数据输出管理模块的自定义结果报表内容,将整个过程整合进行代码自动生成模拟发版,并可将代码直接提供给开发人员(上述的目标对象)。
通过上述的方案,可以加快研发过程,从而可以提高研发效率。
另外,实时服务平台中还包括用户管理模块和接口调用监控模块。下面分别对这两个模块进行介绍。
其中,用户管理模块可以实现对各系统用户、权限、资源等模块的管理,并提供统一的登录入口。而且,统一登录的实时服务平台提供门户首页,用户可以通过门户首页进入不同的系统界面。同时,在门户首页可以直接查看平台其他相关的报表数据。另外,用户权限管理通过数据仓库本身的权限工具实现权限管理。将各用户归入到不同的用户组,用户与用户组都具备特定的权限,每一个用户组下也可包含多个子用户组,用户与用户组的权限都是其所属用户组的所有权限与本身个体权限的并集。这种权限包含了对基于数据仓库某一属性的约束、对数据内容的访问权、使用权等等。
接口调用监控指对调用实时服务平台各个接口的情况进行监控,多维度提供可视化的监控图和监控报表。并可以切换选择查看监控图或监控报表;也可以在实时服务平台上已存在的接口、服务唯一标识和调用时间段进行查询;同时可以概览展示接口在查询条件下的调用总量、平均响应时长、调用失败率、失败次数;并可以对接口调用进行统计,统计系统异常率、异常次数、耗时时间统计维度下的TOP5分布等。
通过本申请实施例提供的方法,例如,图8是根据本申请实施例提供的可选的数据的提供方法的流程图,如图8所示,可选的数据的提供方法的流程可以分为以下几个步骤:
步骤1:用户登录实时服务平台,进入到用户管理模块;
步骤2:通过权限控制,限定用户所能访问的库、表、视图、日志等信息内容;
步骤3:进入到数据接入管理模块,选用或导入所需的数据作为数据源;
步骤4:如果数据源需要实时数据,则通过接口接入数据仓库数据库进行访问,同时也可整合从其它接口接入进来的实时数据;如果数据源需要用户从本地提供,则可通过文件导入方式上传,作为数据源;
步骤5:进入到变量管理模块,在所获取到的数据源的基础上,通过各种算法,生成得到原始变量或衍生变量;
步骤6:进入到数据输出管理模块,用户根据自定义输出变量得到最终报表,报表可直接在前台页面进行展现;
步骤7:在日志管理模块中记录下所有操作过程;在接口调用监控模块中记录下本次操作所使用的接口调用情况作后续统计;在前台展示界面上用户可直接进行报表查看;也可再次通过接口直接对接到其它业务系统作进一步实时数据传送;
此外,其它模块作为数据仓库实时服务平台的衍生模块,可进一步在本发明的基础上进行更多功能的扩展。特别是模拟发版功能,即用户通过数据接入管理模块中选用的数据源和自主导入的数据、以及在变量管理模块中对各种变量的加工方式(包括导入的算法)、最后通过自定义输出格式得到所需报表,这一系列过程可自动生成代码、打包生成版本,从而进行模拟发布,可供业务人员后续进一步验证,也可直接提供给开发人员,加快研发节奏,大幅提高效率。
另外,在实时服务平台技术方面,采用成熟先进的微服务架构技术,实现对数据采集、接口调用、数据管理、数据导出、服务监控等多个功能模块的支撑。通过组件化的方式提供微服务的开发部署、服务注册发现、服务治理与服务运维等能力。由于实时服务平台需要同时为多个业务系统提供实时数据服务,因此需要一个标准的服务接口、成熟的服务治理能力和高效的敏捷开发技术。
而且,在实时服务平台安全方面,平台通过采用公共密钥体系,基于非对称的密钥加密算法,建立一套证书发放、管理和使用的体系,来支持和完成网络系统中的身份认证、信息加密、保证数据完整性和抗抵赖性。在数据访问方面,对数据库中所有的实体进行严格的访问权限控制,为每个使用数据库的用户开放满足该类用户功能的最小权限。对于特权用户比如DBA的账号的任何操作都要能够审计,避免权限滥用。为防止数据丢失,对数据库采用多种备份策略和冗余方案,如数据库复制集、完全备份、增量备份和数据库日志备份等。
综上所述,通过构建基于数据仓库应用的易于扩展的、智能的、个性化的实时服务平台,开通与各个业务系统之间的信息接口,确保从数据仓库系统到业务系统的信息流完全、实时连通。并且通过本方案,还可以实现以下效果:
(1)为数据仓库体系的服务多样化、数据即时化提供了新的服务平台,极大提升了数据资产的使用效能。
数据仓库实时服务平台的设计将现有数据仓库体系与业务系统之间进行融合,打破传统的需要通过批量加载作业进行数据开发和服务的方式,即时通讯、开发便利、界面易懂、功能实用,为用户提供直观的数据处理、灵活的报表生成。
(2)数据仓库实时服务平台具有可扩展性,可在平台上衍生出更多的功能。
数据仓库系统的开发工作量巨大,需要一套完备的技术平台提供支持,以减少开发人员不必要的重复工作。其中,模拟发版功能作为一项重要的衍生功能,无论对于数据仓库应用或者其它应用,都将是一项重要的技术突破。
综上,本申请实施例提供的数据的提供方法,通过获取N个原始数据,其中,原始数据为目标数据仓库待提供给目标业务系统的数据,N为大于1的正整数;基于N个原始数据,得到目标变量集合,其中,目标变量集合中的目标变量用于表示原始数据的字段信息,目标变量集合中的任意一个目标变量由至少两个原始数据确定;依据目标变量集合和目标变量对应的数据构建目标报表,并将目标报表中的目标数据提供给目标业务系统,解决了相关技术中数据仓库需要先定时批量加载数据,然后再为业务系统提供数据,导致数据仓库为业务系统提供数据的效率较低的问题。通过基于从数据仓库获取到的N个原始数据,得到变量集合,并依据变量集合和每个变量对应的数据构建报表,再将报表中的数据提供给业务系统,从而达到了提升数据仓库为业务系统提供数据的效率的效果。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种数据的提供装置,需要说明的是,本申请实施例的数据的提供装置可以用于执行本申请实施例所提供的用于数据的提供方法。以下对本申请实施例提供的数据的提供装置进行介绍。
图9是根据本申请实施例的数据的提供装置的示意图。如图9所示,该装置包括:第一获取单元901、第一确定单元902和第一处理单元903。
具体地,第一获取单元901,用于获取N个原始数据,其中,原始数据为目标数据仓库待提供给目标业务系统的数据,N为大于1的正整数;
第一确定单元902,用于基于N个原始数据,得到目标变量集合,其中,目标变量集合中的目标变量用于表示原始数据的字段信息,目标变量集合中的任意一个目标变量由至少两个原始数据确定;
第一处理单元903,用于依据目标变量集合和目标变量对应的数据构建目标报表,并将目标报表中的目标数据提供给目标业务系统。
综上,本申请实施例提供的数据的提供装置,通过第一获取单元901获取N个原始数据,其中,原始数据为目标数据仓库待提供给目标业务系统的数据,N为大于1的正整数;第一确定单元902基于N个原始数据,得到目标变量集合,其中,目标变量集合中的目标变量用于表示原始数据的字段信息,目标变量集合中的任意一个目标变量由至少两个原始数据确定;第一处理单元903依据目标变量集合和目标变量对应的数据构建目标报表,并将目标报表中的目标数据提供给目标业务系统,解决了相关技术中数据仓库需要先定时批量加载数据,然后再为业务系统提供数据,导致数据仓库为业务系统提供数据的效率较低的问题。通过基于从数据仓库获取到的N个原始数据,得到变量集合,并依据变量集合和每个变量对应的数据构建报表,再将报表中的数据提供给业务系统,从而达到了提升数据仓库为业务系统提供数据的效率的效果。
可选地,在本申请实施例提供的数据的提供装置中,第一获取单元包括:第一获取模块,用于获取N个原始数据的数据源;第一判断模块,用于判断数据源需求的数据是否为实时数据;第二获取模块,用于若数据源需求的数据是实时数据,则从目标设备中获取N个原始数据,其中,目标设备为以下至少之一:目标数据仓库、目标数据仓库中的目标数据库,目标数据库为第一业务系统对应的数据库,第一业务系统为除目标业务系统之外的业务系统;第三获取模块,用于若数据源需求的数据不是实时数据,则从目标文件中获取N个原始数据,其中,目标文件为依据目标数据仓库中的第一数据得到的文件。
可选地,在本申请实施例提供的数据的提供装置中,目标变量集合中包括以下至少之一:原始变量、衍生变量,第一确定单元包括:第二判断模块,用于判断是否将每个原始数据加工处理为衍生变量;第一加工处理模块,用于若将每个原始数据加工处理为衍生变量,则对每个原始数据进行加工处理,得到多个衍生变量;第四获取模块,用于若不是将每个原始数据加工处理为衍生变量,则从目标设备或者目标文件中获取每个原始数据对应的原始变量,得到多个原始变量;第一确定模块,用于将多个衍生变量或者多个原始变量进行汇总,得到目标变量集合。
可选地,在本申请实施例提供的数据的提供装置中,第一加工处理模块为以下至少之一:第一运算模块,用于对每个原始数据进行目标运算,得到多个衍生变量;第二加工处理模块,用于采用目标算法对每个原始数据进行加工处理,得到多个衍生变量;第三加工处理模块,用于依据目标脚本对每个原始数据进行加工处理,得到多个衍生变量。
可选地,在本申请实施例提供的数据的提供装置中,第一处理单元包括:第二确定模块,用于依据目标变量集合中的目标变量,确定目标报表的格式;第一构建模块,用于基于目标报表的格式和目标变量对应的数据,构建目标报表。
可选地,在本申请实施例提供的数据的提供装置中,第二获取模块包括:第一确定子模块,用于确定目标设备的类型;第二确定子模块,用于依据目标设备的类型,确定第一文件,其中,第一文件为以下至少之一:表格文件或者视图文件;第一获取子模块,用于获取第一文件中的多个字段;第一筛选子模块,用于依据多个字段,对第一文件中的数据进行筛选,得到原始数据。
可选地,在本申请实施例提供的数据的提供装置中,该装置还包括:第二获取单元,用于在从目标文件中获取原始数据之前,获取目标数据仓库中的第一数据;第二确定单元,用于依据目标数据仓库中的第一数据,确定多个第二数据;第三确定单元,用于依据多个第二数据和目标字段,得到目标文件,或者,依据多个第二数据和目标表结构,得到目标文件。
可选地,在本申请实施例提供的数据的提供装置中,该装置还包括:第三获取单元,用于在依据目标变量集合和目标变量对应的数据构建目标报表之后,获取目标信息,其中,目标信息为以下至少之一:目标用户的登录信息、对目标数据仓库进行目标操作的操作信息,目标用户为访问目标数据仓库的用户;第一生成单元,用于依据目标信息,生成目标日志。
可选地,在本申请实施例提供的数据的提供装置中,该装置还包括:第四获取单元,用于在依据目标变量集合和目标变量对应的数据构建目标报表之后,获取目标代码,其中,目标代码用于表示对目标数据仓库进行目标操作的过程;第一提供单元,用于将目标代码提供给目标对象,其中,目标对象为开发目标数据仓库的对象。
数据的提供装置包括处理器和存储器,上述第一获取单元901、第一确定单元902和第一处理单元903等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来提升数据仓库为业务系统提供数据的效率。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述数据的提供方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述数据的提供方法。
如图10所示,本发明实施例提供了一种电子设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:获取N个原始数据,其中,所述原始数据为目标数据仓库待提供给目标业务系统的数据,N为大于1的正整数;基于所述N个原始数据,得到目标变量集合,其中,所述目标变量集合中的目标变量用于表示所述原始数据的字段信息,所述目标变量集合中的任意一个目标变量由至少两个所述原始数据确定;依据所述目标变量集合和所述目标变量对应的数据构建目标报表,并将所述目标报表中的目标数据提供给所述目标业务系统。
处理器执行程序时还实现以下步骤:获取N个原始数据包括:获取所述N个原始数据的数据源;判断所述数据源需求的数据是否为实时数据;若所述数据源需求的数据是实时数据,则从目标设备中获取所述N个原始数据,其中,所述目标设备为以下至少之一:所述目标数据仓库、所述目标数据仓库中的目标数据库,所述目标数据库为第一业务系统对应的数据库,所述第一业务系统为除所述目标业务系统之外的业务系统;若所述数据源需求的数据不是实时数据,则从目标文件中获取所述N个原始数据,其中,所述目标文件为依据所述目标数据仓库中的第一数据得到的文件。
处理器执行程序时还实现以下步骤:所述目标变量集合中包括以下至少之一:原始变量、衍生变量,基于所述N个原始数据,得到目标变量集合包括:判断是否将每个原始数据加工处理为所述衍生变量;若将每个原始数据加工处理为所述衍生变量,则对每个原始数据进行加工处理,得到多个衍生变量;若不是将每个原始数据加工处理为所述衍生变量,则从所述目标设备或者所述目标文件中获取每个原始数据对应的原始变量,得到多个原始变量;将所述多个衍生变量或者所述多个原始变量进行汇总,得到所述目标变量集合。
处理器执行程序时还实现以下步骤:对每个原始数据进行加工处理,得到多个衍生变量的方式为以下至少之一:对每个原始数据进行目标运算,得到所述多个衍生变量;采用目标算法对每个原始数据进行加工处理,得到所述多个衍生变量;依据目标脚本对每个原始数据进行加工处理,得到所述多个衍生变量。
处理器执行程序时还实现以下步骤:依据所述目标变量集合和所述目标变量对应的数据构建目标报表包包括:依据所述目标变量集合中的目标变量,确定所述目标报表的格式;基于所述目标报表的格式和所述目标变量对应的数据,构建所述目标报表。
处理器执行程序时还实现以下步骤:从目标设备中获取所述原始数据包括:确定所述目标设备的类型;依据所述目标设备的类型,确定第一文件,其中,所述第一文件为以下至少之一:表格文件或者视图文件;获取所述第一文件中的多个字段;依据所述多个字段,对所述第一文件中的数据进行筛选,得到所述原始数据。
处理器执行程序时还实现以下步骤:在从目标文件中获取所述原始数据之前,所述方法还包括:获取所述目标数据仓库中的第一数据;依据所述目标数据仓库中的第一数据,确定多个第二数据;依据所述多个第二数据和目标字段,得到所述目标文件,或者,依据所述多个第二数据和目标表结构,得到所述目标文件。
处理器执行程序时还实现以下步骤:在依据所述目标变量集合和所述目标变量对应的数据构建目标报表之后,所述方法还包括:获取目标信息,其中,所述目标信息为以下至少之一:目标用户的登录信息、对所述目标数据仓库进行目标操作的操作信息,所述目标用户为访问所述目标数据仓库的用户;依据所述目标信息,生成目标日志。
处理器执行程序时还实现以下步骤:在依据所述目标变量集合和所述目标变量对应的数据构建目标报表之后,所述方法还包括:获取目标代码,其中,所述目标代码用于表示对所述目标数据仓库进行所述目标操作的过程;将所述目标代码提供给目标对象,其中,所述目标对象为开发所述目标数据仓库的对象。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:获取N个原始数据,其中,所述原始数据为目标数据仓库待提供给目标业务系统的数据,N为大于1的正整数;基于所述N个原始数据,得到目标变量集合,其中,所述目标变量集合中的目标变量用于表示所述原始数据的字段信息,所述目标变量集合中的任意一个目标变量由至少两个所述原始数据确定;依据所述目标变量集合和所述目标变量对应的数据构建目标报表,并将所述目标报表中的目标数据提供给所述目标业务系统。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:获取N个原始数据包括:获取所述N个原始数据的数据源;判断所述数据源需求的数据是否为实时数据;若所述数据源需求的数据是实时数据,则从目标设备中获取所述N个原始数据,其中,所述目标设备为以下至少之一:所述目标数据仓库、所述目标数据仓库中的目标数据库,所述目标数据库为第一业务系统对应的数据库,所述第一业务系统为除所述目标业务系统之外的业务系统;若所述数据源需求的数据不是实时数据,则从目标文件中获取所述N个原始数据,其中,所述目标文件为依据所述目标数据仓库中的第一数据得到的文件。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:所述目标变量集合中包括以下至少之一:原始变量、衍生变量,基于所述N个原始数据,得到目标变量集合包括:判断是否将每个原始数据加工处理为所述衍生变量;若将每个原始数据加工处理为所述衍生变量,则对每个原始数据进行加工处理,得到多个衍生变量;若不是将每个原始数据加工处理为所述衍生变量,则从所述目标设备或者所述目标文件中获取每个原始数据对应的原始变量,得到多个原始变量;将所述多个衍生变量或者所述多个原始变量进行汇总,得到所述目标变量集合。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:对每个原始数据进行加工处理,得到多个衍生变量的方式为以下至少之一:对每个原始数据进行目标运算,得到所述多个衍生变量;采用目标算法对每个原始数据进行加工处理,得到所述多个衍生变量;依据目标脚本对每个原始数据进行加工处理,得到所述多个衍生变量。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:依据所述目标变量集合和所述目标变量对应的数据构建目标报表包括:依据所述目标变量集合中的目标变量,确定所述目标报表的格式;基于所述目标报表的格式和所述目标变量对应的数据,构建所述目标报表。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:从目标设备中获取所述原始数据包括:确定所述目标设备的类型;依据所述目标设备的类型,确定第一文件,其中,所述第一文件为以下至少之一:表格文件或者视图文件;获取所述第一文件中的多个字段;依据所述多个字段,对所述第一文件中的数据进行筛选,得到所述原始数据。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:在从目标文件中获取所述原始数据之前,所述方法还包括:获取所述目标数据仓库中的第一数据;依据所述目标数据仓库中的第一数据,确定多个第二数据;依据所述多个第二数据和目标字段,得到所述目标文件,或者,依据所述多个第二数据和目标表结构,得到所述目标文件。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:在依据所述目标变量集合和所述目标变量对应的数据构建目标报表之后,所述方法还包括:获取目标信息,其中,所述目标信息为以下至少之一:目标用户的登录信息、对所述目标数据仓库进行目标操作的操作信息,所述目标用户为访问所述目标数据仓库的用户;依据所述目标信息,生成目标日志。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:在依据所述目标变量集合和所述目标变量对应的数据构建目标报表之后,所述方法还包括:获取目标代码,其中,所述目标代码用于表示对所述目标数据仓库进行所述目标操作的过程;将所述目标代码提供给目标对象,其中,所述目标对象为开发所述目标数据仓库的对象。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (12)
1.一种数据的提供方法,其特征在于,包括:
获取N个原始数据,其中,所述原始数据为目标数据仓库待提供给目标业务系统的数据,N为大于1的正整数;
基于所述N个原始数据,得到目标变量集合,其中,所述目标变量集合中的目标变量用于表示所述原始数据的字段信息,所述目标变量集合中的任意一个目标变量由至少两个所述原始数据确定;
依据所述目标变量集合和所述目标变量对应的数据构建目标报表,并将所述目标报表中的目标数据提供给所述目标业务系统。
2.根据权利要求1所述的方法,其特征在于,获取N个原始数据包括:
获取所述N个原始数据的数据源;
判断所述数据源需求的数据是否为实时数据;
若所述数据源需求的数据是实时数据,则从目标设备中获取所述N个原始数据,其中,所述目标设备为以下至少之一:所述目标数据仓库、所述目标数据仓库中的目标数据库,所述目标数据库为第一业务系统对应的数据库,所述第一业务系统为除所述目标业务系统之外的业务系统;
若所述数据源需求的数据不是实时数据,则从目标文件中获取所述N个原始数据,其中,所述目标文件为依据所述目标数据仓库中的第一数据得到的文件。
3.根据权利要求2所述的方法,其特征在于,所述目标变量集合中包括以下至少之一:原始变量、衍生变量,基于所述N个原始数据,得到目标变量集合包括:
判断是否将每个原始数据加工处理为所述衍生变量;
若将每个原始数据加工处理为所述衍生变量,则对每个原始数据进行加工处理,得到多个衍生变量;
若不是将每个原始数据加工处理为所述衍生变量,则从所述目标设备或者所述目标文件中获取每个原始数据对应的原始变量,得到多个原始变量;
将所述多个衍生变量或者所述多个原始变量进行汇总,得到所述目标变量集合。
4.根据权利要求3所述的方法,其特征在于,对每个原始数据进行加工处理,得到多个衍生变量的方式为以下至少之一:
对每个原始数据进行目标运算,得到所述多个衍生变量;
采用目标算法对每个原始数据进行加工处理,得到所述多个衍生变量;
依据目标脚本对每个原始数据进行加工处理,得到所述多个衍生变量。
5.根据权利要求1所述的方法,其特征在于,依据所述目标变量集合和所述目标变量对应的数据构建目标报表包括:
依据所述目标变量集合中的目标变量,确定所述目标报表的格式;
基于所述目标报表的格式和所述目标变量对应的数据,构建所述目标报表。
6.根据权利要求2所述的方法,其特征在于,从目标设备中获取所述原始数据包括:
确定所述目标设备的类型;
依据所述目标设备的类型,确定第一文件,其中,所述第一文件为以下至少之一:表格文件或者视图文件;
获取所述第一文件中的多个字段;
依据所述多个字段,对所述第一文件中的数据进行筛选,得到所述原始数据。
7.根据权利要求2所述的方法,其特征在于,在从目标文件中获取所述原始数据之前,所述方法还包括:
获取所述目标数据仓库中的第一数据;
依据所述目标数据仓库中的第一数据,确定多个第二数据;
依据所述多个第二数据和目标字段,得到所述目标文件,或者,依据所述多个第二数据和目标表结构,得到所述目标文件。
8.根据权利要求1所述的方法,其特征在于,在依据所述目标变量集合和所述目标变量对应的数据构建目标报表之后,所述方法还包括:
获取目标信息,其中,所述目标信息为以下至少之一:目标用户的登录信息、对所述目标数据仓库进行目标操作的操作信息,所述目标用户为访问所述目标数据仓库的用户;
依据所述目标信息,生成目标日志。
9.根据权利要求8所述的方法,其特征在于,在依据所述目标变量集合和所述目标变量对应的数据构建目标报表之后,所述方法还包括:
获取目标代码,其中,所述目标代码用于表示对所述目标数据仓库进行所述目标操作的过程;
将所述目标代码提供给目标对象,其中,所述目标对象为开发所述目标数据仓库的对象。
10.一种数据的提供装置,其特征在于,包括:
第一获取单元,用于获取N个原始数据,其中,所述原始数据为目标数据仓库待提供给目标业务系统的数据,N为大于1的正整数;
第一确定单元,用于基于所述N个原始数据,得到目标变量集合,其中,所述目标变量集合中的目标变量用于表示所述原始数据的字段信息,所述目标变量集合中的任意一个目标变量由至少两个所述原始数据确定;
第一处理单元,用于依据所述目标变量集合和所述目标变量对应的数据构建目标报表,并将所述目标报表中的目标数据提供给所述目标业务系统。
11.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至9中任意一项所述的数据的提供方法。
12.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至9中任意一项所述的数据的提供方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210770079.0A CN115017240A (zh) | 2022-07-01 | 2022-07-01 | 数据的提供方法及装置、处理器和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210770079.0A CN115017240A (zh) | 2022-07-01 | 2022-07-01 | 数据的提供方法及装置、处理器和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115017240A true CN115017240A (zh) | 2022-09-06 |
Family
ID=83078090
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210770079.0A Pending CN115017240A (zh) | 2022-07-01 | 2022-07-01 | 数据的提供方法及装置、处理器和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115017240A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115905392A (zh) * | 2022-12-23 | 2023-04-04 | 中电金信软件有限公司 | 流批一体的数据处理方法、装置、设备及存储介质 |
-
2022
- 2022-07-01 CN CN202210770079.0A patent/CN115017240A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115905392A (zh) * | 2022-12-23 | 2023-04-04 | 中电金信软件有限公司 | 流批一体的数据处理方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2849098B1 (en) | Cross system analytics for in memory data warehouse | |
US9734221B2 (en) | In memory database warehouse | |
US9110895B2 (en) | System and method for a serialized data service | |
CN104572122A (zh) | 一种软件应用数据的生成装置及方法 | |
EP2849097A2 (en) | A method for operating storage resources in an in-memory warehouse system | |
US11640476B2 (en) | Methods for big data usage monitoring, entitlements and exception analysis | |
CN115129716A (zh) | 一种针对工业大数据的数据管理方法、设备及存储介质 | |
CN110532279A (zh) | 大数据平台权限控制方法、装置、计算机设备及存储介质 | |
CN112346717A (zh) | 微服务系统创建方法、装置、设备、介质、微服务系统 | |
CN116541372A (zh) | 一种数据资产治理方法及系统 | |
CN115758459A (zh) | 数据权限管理方法及装置 | |
CN109474706B (zh) | 一种数据安全集中服务方法和系统 | |
CN115017240A (zh) | 数据的提供方法及装置、处理器和电子设备 | |
US20230334160A1 (en) | Systems and methods for software security analysis | |
US20130080535A1 (en) | System and method for collaborative information services | |
CN112925666A (zh) | 一种基于groovy脚本技术的第三方API集成管理方法 | |
CN116910023A (zh) | 一种数据治理系统 | |
US11797701B1 (en) | Secure data collaboration | |
US9361405B2 (en) | System and method for service recommendation service | |
US11436349B2 (en) | Method and system for implementing a cloud machine learning environment | |
CN113010492A (zh) | 数据库访问方法及装置 | |
Ansaba et al. | Big Data in Cloud Computing Environment | |
Shang et al. | One stone, three birds: Finer-grained encryption with apache parquet@ large scale | |
US12009997B2 (en) | Cell-based architecture for an extensibility platform | |
US20240013294A1 (en) | Secure Decentralized System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |