CN112685485A - 数据获取方法、装置、电子设备、存储介质及程序产品 - Google Patents
数据获取方法、装置、电子设备、存储介质及程序产品 Download PDFInfo
- Publication number
- CN112685485A CN112685485A CN202110004063.4A CN202110004063A CN112685485A CN 112685485 A CN112685485 A CN 112685485A CN 202110004063 A CN202110004063 A CN 202110004063A CN 112685485 A CN112685485 A CN 112685485A
- Authority
- CN
- China
- Prior art keywords
- data
- product
- data extraction
- view
- extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000013075 data extraction Methods 0.000 claims abstract description 288
- 238000013523 data management Methods 0.000 claims abstract description 87
- 238000004519 manufacturing process Methods 0.000 claims description 149
- 239000000284 extract Substances 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 12
- 239000000463 material Substances 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 5
- 238000011144 upstream manufacturing Methods 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 230000002349 favourable effect Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 2
- 238000013501 data transformation Methods 0.000 description 2
- 238000011068 loading method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- General Factory Administration (AREA)
Abstract
本公开实施例公开了一种数据获取方法、装置、电子设备、存储介质及程序产品，所述方法包括：响应于新产品新增事件，获取至少一个数据抽取视图；根据新增的所述新产品更新所述数据抽取视图；响应于数据管理平台的数据抽取请求，根据更新后的所述数据抽取视图抽取产品数据；将所述产品数据返回给所述数据管理平台。该技术方案不需要在下游仓库端针对新增产品通过创建数据抽取任务，并通过执行该数据抽取任务将新产品的产品数据抽取处理之后，与原来的数据进行合并等操作，能够大大提高数据抽取效率，节省人力物力成本。
Description
技术领域
本公开实施例涉及计算机技术领域，具体涉及一种数据获取方法、装置、电子设备、存储介质及程序产品。
背景技术
大数据集群需对生产系统的数据进行集中存储，方便管理以及供下游使用。而上游生产系统为业务不断扩展进行的数据结构设计不利于大数据集群进行数据抽取。例如，生成系统中的产品a对应一套数据表、产品b对应一套数据表等，而不同的产品其数据结构一致，例如包括交易、商户等维度数据的数据表，而不同产品间的数据不会出现重复。但是下游数据仓库所需要的所有产品同一维度的数据合集，例如交易、商户等维度的合集。而在已有技术中，通常在生产系统新上一个产品后，后台数据管理平台需要先配置新产品的数据接入，大概需要花费2-3天的时间，之后再修改数据抽取脚本，以便将新产品的数据合并到数据仓库的合集表中，大概也需要2-3天，这种方式实施行为耗时长、效率低，无法满足前端业务部门对新产品数据的实时需求。
发明内容
本公开实施例提供一种数据获取方法、装置、电子设备、存储介质及程序产品。
第一方面，本公开实施例中提供了一种数据获取方法，包括：
响应于新产品新增事件，获取至少一个数据抽取视图；
根据新增的所述新产品更新所述数据抽取视图；
响应于数据管理平台的数据抽取请求，根据更新后的所述数据抽取视图抽取产品数据；
将所述产品数据返回给所述数据管理平台。
进一步地，根据新增的所述新产品更新所述数据抽取视图，包括：
更新所述数据抽取视图对应的视图创建语句，以便将所述新产品的数据更新至所述数据抽取视图。
进一步地，响应于数据管理平台的数据抽取请求，根据更新后的所述数据抽取视图抽取产品数据，包括：
响应于所述数据抽取请求，从所述数据抽取视图中的记录的产品对应的物理表中抽取所述产品数据。
进一步地，同一所述数据抽取视图涉及多个产品的同一维度的数据；所述物理表存储同一产品多个维度的数据。
进一步地，根据更新后的所述数据抽取视图抽取产品数据，包括：
根据更新后的所述数据抽取视图从多个产品对应的多张物理表中，抽取目标维度的产品数据。
第二方面，本公开实施例中提供了一种数据获取方法，包括：
创建数据抽取任务；
执行所述数据抽取任务，以便基于生产平台创建的数据抽取视图从所述生产平台抽取产品数据；
接收所述生产平台返回的所述产品数据，并将所述产品数据存储在数据仓库。
进一步地，所述方法还包括：
响应于新产品的新增事件，执行所述数据抽取任务，以便基于所述生产平台更新后的所述数据抽取视图从所述生产平台抽取新的产品数据。
进一步地，同一所述数据抽取视图涉及多个产品的同一维度的数据；所述物理表存储同一产品多个维度的数据。
进一步地，接收所述生产平台返回的所述产品数据，并将所述产品数据存储在数据仓库，包括：
将从同一所述数据抽取视图获得的所述产品数据关联存储；
将从不同所述数据抽取视图获得的所述产品数据分开存储。
进一步地，创建数据抽取任务，包括：
通过在ETL工具提供的接口中进行配置的方式创建所述数据抽取任务；和/或，
通过编写所述数据仓库所支持的数据库脚本创建所述数据抽取任务。
进一步地，接收所述生产平台返回的所述产品数据，并将所述产品数据存储在数据仓库，包括：
将通过同一所述数据抽取视图获取的所述产品数据，按照预先建立的ETL规则进行集成后存储至所述数据仓库中。
第三方面，本公开实施例中提供了一种数据获取方法，包括：
生产平台响应于新产品新增事件，获取至少一个数据抽取视图，并根据新增的所述新产品更新所述数据抽取视图；
所述数据管理平台创建数据抽取任务，并执行所述数据抽取任务；
所述生产平台响应于数据管理平台的数据抽取请求，根据更新后的所述数据抽取视图抽取产品数据；
所述生产平台将所述产品数据返回给所述数据管理平台；
所述数据管理平台接收所述生产平台返回的所述产品数据，并将所述产品数据存储在数据仓库。
进一步地，根据新增的所述新产品更新所述数据抽取视图，包括：
所述生产平台更新所述数据抽取视图对应的视图创建语句，以便将所述新产品的数据更新至所述数据抽取视图。
进一步地，所述生产平台响应于数据管理平台的数据抽取请求，根据更新后的所述数据抽取视图抽取产品数据，包括：
所述生产平台响应于所述数据抽取请求，从所述数据抽取视图中的记录的产品对应的物理表中抽取所述产品数据。
进一步地，同一所述数据抽取视图涉及多个产品的同一维度的数据；所述物理表存储同一产品多个维度的数据。
进一步地，根据更新后的所述数据抽取视图抽取产品数据，包括：
所述生产平台根据更新后的所述数据抽取视图从多个产品对应的多张物理表中，抽取目标维度的产品数据。
进一步地，所述方法还包括：
所述数据管理平台响应于新产品的新增事件，执行所述数据抽取任务，以便基于所述生产平台更新后的所述数据抽取视图从所述生产平台抽取新的产品数据。
进一步地，所述数据管理平台接收所述生产平台返回的所述产品数据，并将所述产品数据存储在数据仓库，包括：
所述数据管理平台将从同一所述数据抽取视图获得的所述产品数据关联存储；
所述数据管理平台将从不同所述数据抽取视图获得的所述产品数据分开存储。
进一步地，所述数据管理平台创建数据抽取任务，包括：
所述数据管理平台通过在ETL工具提供的接口中进行配置的方式创建所述数据抽取任务；和/或，
所述数据管理平台通过编写所述数据仓库所支持的数据库脚本创建所述数据抽取任务。
进一步地，所述数据管理平台接收所述生产平台返回的所述产品数据，并将所述产品数据存储在数据仓库，包括：
所述数据管理平台将通过同一所述数据抽取视图获取的所述产品数据，按照预先建立的ETL规则进行集成后存储至所述数据仓库中。
第四方面，本公开实施例中提供了一种数据获取装置，包括：
获取模块，被配置为响应于新产品新增事件，获取至少一个数据抽取视图；
更新模块，被配置为根据新增的所述新产品更新所述数据抽取视图；
抽取模块，被配置为响应于数据管理平台的数据抽取请求，根据更新后的所述数据抽取视图抽取产品数据；
返回模块，被配置为将所述产品数据返回给所述数据管理平台。
第五方面，本公开实施例中提供了一种数据获取装置，包括：
创建模块，被配置为创建数据抽取任务；
执行模块，被配置为执行所述数据抽取任务，以便基于生产平台创建的数据抽取视图从所述生产平台抽取产品数据；
接收模块，被配置为接收所述生产平台返回的所述产品数据，并将所述产品数据存储在数据仓库。
所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中，上述装置的结构中包括存储器和处理器，所述存储器用于存储一条或多条支持上述装置执行上述对应方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。上述装置还可以包括通信接口，用于上述装置与其他设备或通信网络通信。
第六方面，本公开实施例中提供了一种数据获取系统，包括：生产平台和数据管理平台；
所述生产平台响应于新产品新增事件，获取至少一个数据抽取视图，并根据新增的所述新产品更新所述数据抽取视图；
所述数据管理平台创建数据抽取任务，并执行所述数据抽取任务；
所述生产平台响应于数据管理平台的数据抽取请求，根据更新后的所述数据抽取视图抽取产品数据；
所述生产平台将所述产品数据返回给所述数据管理平台；
所述数据管理平台接收所述生产平台返回的所述产品数据，并将所述产品数据存储在数据仓库。
第七方面，本公开实施例提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条支持上述任一装置执行上述对应方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。上述任一装置还可以包括通信接口，用于与其他设备或通信网络通信。
第八方面，本公开实施例提供了一种计算机可读存储介质，用于存储上述任一装置所用的计算机指令，其包含用于执行上述任一方法所涉及的计算机指令。
第九方面，本公开实施例提供了一种计算机程序产品，其包含计算机指令，该计算机指令被处理器执行时用于实现上述任一方面所述方法的步骤。
本公开实施例提供的技术方案可包括以下有益效果：
本公开实施例提供的技术方案中预先建立针对不同产品相同维度的产品数据的数据抽取视图，在生产系统中产出新产品数据之后，可以根据该新产品更新该数据抽取视图，以便下游数据仓库能够通过该数据抽取视图直接获得集中后的数据，而不需要在下游仓库端针对新增产品通过创建数据抽取任务，并通过执行该数据抽取任务将新产品的产品数据抽取处理之后，与原来的数据进行合并等操作，能够大大提高数据抽取效率，节省人力物力成本。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开实施例。
附图说明
结合附图，通过以下非限制性实施方式的详细描述，本公开实施例的其它特征、目的和优点将变得更加明显。在附图中：
图1示出根据本公开一实施方式的数据获取方法的流程图；
图2示出根据本公开另一实施方式的数据获取方法的流程图；
图3示出根据本公开另一实施方式的数据获取方法的流程图；
图4示出根据本公开一实施方式的数据获取方法的应用场景示意图；
图5示出根据本公开一实施方式的数据获取方法的整体流程图；
图6示出根据本公开一实施方式的数据获取装置的结构框图；
图7示出根据本公开另一实施方式的数据获取装置的结构框图；
图8示出根据本公开另一实施方式的数据处理系统的结构框图；
图9是适于用来实现根据本公开一实施方式的数据获取方法的计算机系统的结构示意图。
具体实施方式
下文中，将参考附图详细描述本公开实施例的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。
在本公开实施例中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开实施例。
上游生产系统中产出的不同产品以及相同产品不同维度(或类型)的产品数据，分别存储在不同的物理表中，而下游数据仓库需要将不同产品的进行集中汇总存储，会存储至数据库中的物理表中，而不同产品相同维度(或类型)的产品数据进行集中存储，方便下游使用者所使用。针对上述这一情况，本公开实施例提供的技术方案中预先建立针对不同产品相同维度的产品数据的数据抽取视图，在生产系统中产出新产品数据之后，可以根据该新产品更新该数据抽取视图，以便下游数据仓库能够通过该数据抽取视图直接获得集中后的数据，而不需要在下游仓库端针对新增产品通过创建数据抽取任务，并通过执行该数据抽取任务将新产品的产品数据抽取处理之后，与原来的数据进行合并等操作，能够大大提高数据抽取效率，节省人力物力成本。
图1示出根据本公开一实施方式的数据获取方法的流程图，如图1所示，所述数据获取方法包括以下步骤S101-S104：
在步骤S101中，响应于新产品新增事件，获取至少一个数据抽取视图；
在步骤S102中，根据新增的所述新产品更新所述数据抽取视图；
在步骤S103中，响应于数据管理平台的数据抽取请求，根据更新后的所述数据抽取视图抽取产品数据；
在步骤S104中，将所述产品数据返回给所述数据管理平台。
上文提及，大数据集群需对生产系统的数据进行集中存储，方便管理以及供下游使用。而上游生产系统为业务不断扩展进行的数据结构设计不利于大数据集群进行数据抽取。例如，生成系统中的产品a对应一套数据表、产品b对应一套数据表等，而不同的产品其数据结构一致，例如包括交易、商户等维度数据的数据表，而不同产品间的数据不会出现重复。但是下游数据仓库所需要的所有产品同一维度的数据合集，例如交易、商户等维度的合集。而在已有技术中，通常在生产系统新上一个产品后，后台数据管理平台需要先配置新产品的数据接入，大概需要花费2-3天的时间，之后再修改数据抽取脚本，以便将新产品的数据合并到数据仓库的合集表中，大概也需要2-3天，这种方式实施行为耗时长、效率低，无法满足前端业务部门对新产品数据的实时需求。
考虑到上述问题，在该实施方式中，提出一种数据获取方法。该数据获取方法中，预先建立针对不同产品相同维度的产品数据的数据抽取视图，在生产系统中产出新产品数据之后，可以根据该新产品更新该数据抽取视图，以便下游数据仓库能够通过该数据抽取视图直接获得集中后的数据，而不需要在下游仓库端针对新增产品通过创建数据抽取任务，并通过执行该数据抽取任务将新产品的产品数据抽取处理之后，与原来的数据进行合并等操作，能够大大提高数据抽取效率，节省人力物力成本。
在本公开一实施方式中，该数据获取方法可适用于在生产系统中通过数据抽取视图针对新增产品的产品数据与原产品的产品数据形成虚拟合集。
生产系统中产出的产品数据存储至物理表中，而不同产品的产品数据或者相同产品的不同维度(或者不同类型)的产品数据会记录在不同的物理表中。针对这一情况，在本公开一实施方式中，在生产系统创建数据抽取视图，该数据抽取视图为一虚拟视图，用于形成不同物理表中产品数据的虚拟合集。物理表用于实际存储产品数据，而虚拟视图可以理解为物理表的查看窗口，对虚拟视图的操作与对物理表的操作一致，但是虚拟视图中并不实际存储数据。对虚拟视图的操作在低层实际上被映射至物理表中进行。
在本公开一实施方式中，生产系统中随着业务的不断扩展，会不断新增产品。一个产品同一种维度的产品数据可以存储在一张或多张物理表中，而一个产品不同维度的产品数据可以存储在不同的物理表中，不同产品的产品数据也可以存储在不同的物理表中。新增产品的产品数据也可以存储至新的物理表中，并且新增产品的产品数据中不同维度的数据可以分别存储至不同的物理表中。例如，产品a的交易数据存储至物理表1，产品a的商户数据存储至物理表2，产品b的交易数据存储至物理表3，产品b的商户数据存储至物理表4等。
下游数据仓库从生产系统获取所有产品的产品数据，进而将不同产品相同维度的数据合集存储，例如，生产系统中当前存在产品a和b，下游数据仓库存储产品a和b的交易数据的合集1，下游数据仓库还存储产品a和b的商户数据的合集2。
生产系统中新增产品c后，产品c的交易数据可以存储至物理表5，而产品c的商户数据可以存储至物理表6。下游数据仓库可以从生产系统获取新增产品c的产品数据，进而存储至合集1和2。
已有技术中的方式是，下游数据仓库从生产系统获取存储产品c的交易数据的物理表5以及产品c的商户数据的物理表6，并将物理表5和6中的数据分别合并至合集1和合集2，这种方式由于涉及到从生产系统抽取物理表5和6的数据，并将物理表5和6的数据合并至合集1和2，涉及周期较长，无法满足下游数据使用方例如前端业务部门对于新产品数据的实时需求。上述仅是为了说明这一过程的一简单举例，实际应用中情况会复杂很多，并且数据量也较大，整个过程耗时耗力较大。
在本公开一实施方式中，针对生产系统中的产品数据可以建立一个或多个数据抽取视图，该数据抽取视图与下游数据仓库中的数据合集相对应，例如对应于存储产品的交易数据的合集1可以建立一张数据抽取视图，而对应于存储产品的商户数据的合集2可以建立另一张数据抽取视图。
下游数据仓库获取产品数据时，直接接入生产系统中创建的数据抽取视图，而不直接接入产品的物理表，在生产系统中新增产品之后，下游数据仓库无需进行改动，而是由生产系统更新数据抽取视图，将新增产品的产品数据的查看方式添加到数据抽取视图即可。
在本公开一实施方式中，数据管理平台属于下游数据仓库。数据管理平台可以基于数据抽取视图获取产品数据。生成系统接收到数据管理平台获取新增数据的请求之后，通过更新后的数据抽取视图从产品的物理表中抽取数据，并将数据返回给数据管理平台，以便数据管理平台将新增产品的数据存储至下游数据仓库中。
本公开实施例提供的技术方案中预先建立针对不同产品相同维度的产品数据的数据抽取视图，在生产系统中产出新产品数据之后，可以根据该新产品更新该数据抽取视图，以便下游数据仓库能够通过该数据抽取视图直接获得集中后的数据，而不需要在下游仓库端针对新增产品通过创建数据抽取任务，并通过执行该数据抽取任务将新产品的产品数据抽取处理之后，与原来的数据进行合并等操作，能够大大提高数据抽取效率，节省人力物力成本。
在本公开一实施方式中，步骤S102，即根据新增的所述新产品更新所述数据抽取视图的步骤，进一步可以包括以下步骤：
更新所述数据抽取视图对应的视图创建语句，以便将所述新产品的数据更新至所述数据抽取视图。
该实施方式中，以SQL为例，视图是基于SQL语句的结果集的可视化的表。视图包含行和列，类似于真实的物理表。视图中的字段来自一个或多个数据库中真实物理表中的字段。可以通过向视图添加SQL函数、WHERE以及JOIN语句等获得需要的数据。
在生成系统中新增产品之后，可以通过更新数据抽取视图中的视图创建语句，将新增产品的产品数据的获取语句增加到视图创建语句中，进而使得通过该数据抽取视图能够获取到新增产品的数据。
例如，原合集1也即存储产品的交易数据的合集对应的数据抽取视图，通过该数据抽取视图可以获取的是生成系统中所有原产品的交易数据。而新增产品之后，可以通过更新该数抽取视图的视图创建语句，即可从该数据抽取视图中获取新增产品的交易数据。
在本公开一实施方式中，步骤S103，即响应于数据管理平台的数据抽取请求，根据更新后的所述数据抽取视图抽取产品数据的步骤，进一步可以包括以下步骤：
响应于所述数据抽取请求，从所述数据抽取视图中的记录的产品对应的物理表中抽取所述产品数据。
该实施方式中，下游数据仓库从生产系统获取最新产品数据时，可以向生产系统发送获取数据抽取请求，生产系统接收到该数据抽取请求之后，可以基于数据抽取视图中记录的产品对应的物理表抽取产品数据，并返回给下游数据仓库。
下游数据仓库可以周期性的或者有新增数据的事件触发下，从生产系统获取新增的产品数据，生产系统在接收到数据抽取请求之后，可以根据数据抽取视图中新增的数据，将新增的产品数据返回给下游数据仓库，下游数据仓库将获取的产品数据直接合并至对应的合集即可。
在本公开一实施方式中，同一所述数据抽取视图涉及多个产品的同一维度的数据；所述物理表存储同一产品多个维度的数据。数据抽取视图中可以包括生产系统中部分或者全部产品的同一维度的产品数据，例如一个数据抽取视图中可以包括生产系统中所有产品的交易数据，而另一个数据抽取视图中可以包括生产系统中所有产品的商户数据。生产系统将产品的数据存储至物理表中，并且每个物理表中可以存储一个产品一个维度的产品数据。
在本公开一实施方式中，步骤S103，即根据更新后的所述数据抽取视图抽取产品数据的步骤，进一步可以包括以下步骤：
根据更新后的所述数据抽取视图从多个产品对应的多张物理表中，抽取目标维度的产品数据。
该实施方式中，同一张数据抽取视图中可以包括多张物理表中的产品数据，例如一个产品的一个维度的数据存储在同一张物理表中，而一个数据抽取视图由于涉及多个产品的同一维度的产品数据，因此在接收到下游数据仓库的数据抽取请求之后，可以通过该数据抽取视图从多个产品分别对应的多张物理表抽取相同维度的产品数据，并返回给下游数据仓库。
图2示出根据本公开另一实施方式的数据获取方法的流程图，如图2所示，所述数据合并方法包括以下步骤S201-S203：
在步骤S201中，创建数据抽取任务；
在步骤S202中，执行所述数据抽取任务，以便基于生产平台创建的数据抽取视图从所述生产平台抽取产品数据；
在步骤S203中，接收所述生产平台返回的所述产品数据，并将所述产品数据存储在数据仓库。
上文提及，大数据集群需对生产系统的数据进行集中存储，方便管理以及供下游使用。而上游生产系统为业务不断扩展进行的数据结构设计不利于大数据集群进行数据抽取。例如，生成系统中的产品a对应一套数据表、产品b对应一套数据表等，而不同的产品其数据结构一致，例如包括交易、商户等维度数据的数据表，而不同产品间的数据不会出现重复。但是下游数据仓库所需要的所有产品同一维度的数据合集，例如交易、商户等维度的合集。而在已有技术中，通常在生产系统新上一个产品后，后台数据管理平台需要先配置新产品的数据接入，大概需要花费2-3天的时间，之后再修改数据抽取脚本，以便将新产品的数据合并到数据仓库的合集表中，大概也需要2-3天，这种方式实施行为耗时长、效率低，无法满足前端业务部门对新产品数据的实时需求。
考虑到上述问题，在该实施方式中，提出一种数据获取方法。该数据获取方法中，预先建立针对不同产品相同维度的产品数据的数据抽取视图，在生产系统中产出新产品数据之后，可以根据该新产品更新该数据抽取视图，以便下游数据仓库能够通过该数据抽取视图直接获得集中后的数据，而不需要在下游仓库端针对新增产品通过创建数据抽取任务，并通过执行该数据抽取任务将新产品的产品数据抽取处理之后，与原来的数据进行合并等操作，能够大大提高数据抽取效率，节省人力物力成本。
在本公开一实施方式中，该数据获取方法可适用于在下游数据仓库端的数据管理平台，从生产系统获取产品数据并进行集中存储之后，提供给前端业务部门。
下游数据仓库端的数据管理平台在获取生产系统中所有产品的产品数据时，可以通过创建数据抽取任务，并执行该数据抽取任务，以便由该数据抽取任务基于生产系统端建立的数据抽取视图从生产系统获取产品数据，在接收到生成平台返回的产品数据之后，下游数据仓库端可以将从同一数据抽取视图获取的多个产品的同一维度的数据存储为一个合集，而将从不同数据抽取视图获取的多个产品的不同维度的数据存储为不同的合集。需要说明的是，可以针对不同的数据抽取视图创建不同的数据抽取任务，也可以针对不同的数据抽取视图创建同一个数据抽取任务，并在该数据抽取任务中一次从不同的数据抽取视图获取产品数据。
在本公开一实施方式中，所述方法进一步可以包括以下步骤：
响应于新产品的新增事件，执行所述数据抽取任务，以便基于所述生产平台更新后的所述数据抽取视图从所述生产平台抽取新的产品数据。
该实施方式中，生产系统新增产品之后，生产系统端可以根据新增产品的信息更新数据抽取视图，以便将新增产品的产品数据体现在该数据抽取视图中，以供下游数据仓库通过该数据抽取视图获取新增产品的数据。
生产系统在完成数据抽取视图的更新之后，可以向下游数据仓库发送一新产品的新增事件，以便下游数据仓库可以及时从生产系统获取新产品的产品数据。下游数据仓库的数据管理平台接收到该新产品的新增事件之后，可以执行数据抽取任务，该数据抽取任务可以原始创建的数据抽取任务，无需数据管理平台针对新产品修改或重新创建该数据抽取任务。通过执行该数据抽取任务，可以从生产系统抽取到新产品的产品数据，进而再将该产品数据合并至下游数据仓库中对应的合集中。
在本公开一实施方式中，同一所述数据抽取视图涉及多个产品的同一维度的数据；所述物理表存储同一产品多个维度的数据。
该实施方式中，同一所述数据抽取视图涉及多个产品的同一维度的数据；所述物理表存储同一产品多个维度的数据。数据抽取视图中可以包括生产系统中部分或者全部产品的同一维度的产品数据，例如一个数据抽取视图中可以包括生产系统中所有产品的交易数据，而另一个数据抽取视图中可以包括生产系统中所有产品的商户数据。生产系统将产品的数据存储至物理表中，并且每个物理表中可以存储一个产品一个维度的产品数据。
在本公开一实施方式中，步骤S203，即接收所述生产平台返回的所述产品数据，并将所述产品数据存储在数据仓库的步骤，进一步可以包括以下步骤：
将从同一所述数据抽取视图获得的所述产品数据关联存储；
将从不同所述数据抽取视图获得的所述产品数据分开存储。
该实施方式中，将产品数据关联存储可以实现为将产品数据存储在同一个合集，同一合集可以表现为同一物理表、同一物理页、同一物理块等，具体可以根据实际应用而定，在此不再赘述。
数据抽取视图中可以包括生产系统中部分或者全部产品的同一维度的产品数据，例如一个数据抽取视图中可以包括生产系统中所有产品的交易数据，而另一个数据抽取视图中可以包括生产系统中所有产品的商户数据。生产系统将产品的数据存储至物理表中，并且每个物理表中可以存储一个产品一个维度的产品数据。
同一张数据抽取视图中可以包括多张物理表中的产品数据，例如一个产品的一个维度的数据存储在同一张物理表中，而一个数据抽取视图由于涉及多个产品的同一维度的产品数据，因此从生产系统接收到的针对同一数据抽取视图中的数据可以对应多个产品同一维度的数据，也即对应多张物理表中抽取的相同维度的产品数据，下游数据仓库可以直接将其存储至对应合集即可，不需要在本地进行数据合并等操作。
在本公开一实施方式中，步骤S201，即创建数据抽取任务的步骤，进一步可以包括以下步骤：
通过在ETL工具提供的接口中进行配置的方式创建所述数据抽取任务；和/或，
通过编写所述数据仓库所支持的数据库脚本创建所述数据抽取任务。
该实施方式中，ETL是Extract-Transform-Load的缩写，即数据抽取、转换和装载的过程，也可以理解为数据提取、转化和加载的过程，ETL能够按照统一的规则集成从数据源获得的数据，负责完成数据从数据源向目标数据仓库转化的过程。ETL方法可以分为两大类：ETL工具软件类和数据库脚本类。ETL工具软件类，是指除数据仓库本身所用到的数据库软件以外，再安装一套ETL工具软件，ETL工具软件通过统一的接口连接数据源和目标数据仓库，并通过多个配置文件和任务计划实现多个ETL过程。
所谓数据库脚本类，是指利用数据仓库本身的数据库软件的远程数据库连接、表、视图、存储过程、作业等功能，通过编写和运行数据库脚本来实现ETL过程，不用再安装另外的ETL工具软件。
在本公开一实施方式中，步骤S203，即接收所述生产平台返回的所述产品数据，并将所述产品数据存储在数据仓库的步骤，进一步可以包括以下步骤：
将通过同一所述数据抽取视图获取的所述产品数据，按照预先建立的ETL规则进行集成后存储至所述数据仓库中。
该实施方式中，生产系统端，将下游数据仓库需要中集成的数据通过数据抽取视图的方式提供给下游数据仓库，下游数据仓库的数据管理平台获得同一数据抽取视图中获取的产品数据之后，可以按照预先建立的ETL规则进行集成，并存储在数据仓库中。
图2所示及相关实施方式中涉及的技术术语和技术特征与图1所示及相关实施方式中提及的技术术语和技术特征相同或相似，对于图2所示及相关实施方式中涉及的技术术语和技术特征的解释和说明可参考上述对于图1所示及相关实施方式的解释的说明，此处不再赘述。
图3示出根据本公开一实施方式的数据获取方法的流程图，如图3所示，所述数据获取方法包括以下步骤S301-S305：
在步骤S301中，生产平台响应于新产品新增事件，获取至少一个数据抽取视图，并根据新增的所述新产品更新所述数据抽取视图；
在步骤S302中，所述数据管理平台创建数据抽取任务，并执行所述数据抽取任务；
在步骤S303中，所述生产平台响应于数据管理平台的数据抽取请求，根据更新后的所述数据抽取视图抽取产品数据；
在步骤S304中，所述生产平台将所述产品数据返回给所述数据管理平台；
在步骤S305中，所述数据管理平台接收所述生产平台返回的所述产品数据，并将所述产品数据存储在数据仓库。
上文提及，大数据集群需对生产系统的数据进行集中存储，方便管理以及供下游使用。而上游生产系统为业务不断扩展进行的数据结构设计不利于大数据集群进行数据抽取。例如，生成系统中的产品a对应一套数据表、产品b对应一套数据表等，而不同的产品其数据结构一致，例如包括交易、商户等维度数据的数据表，而不同产品间的数据不会出现重复。但是下游数据仓库所需要的所有产品同一维度的数据合集，例如交易、商户等维度的合集。而在已有技术中，通常在生产系统新上一个产品后，后台数据管理平台需要先配置新产品的数据接入，大概需要花费2-3天的时间，之后再修改数据抽取脚本，以便将新产品的数据合并到数据仓库的合集表中，大概也需要2-3天，这种方式实施行为耗时长、效率低，无法满足前端业务部门对新产品数据的实时需求。
考虑到上述问题，在该实施方式中，提出一种数据获取方法。该数据获取方法中，预先建立针对不同产品相同维度的产品数据的数据抽取视图，在生产系统中产出新产品数据之后，可以根据该新产品更新该数据抽取视图，以便下游数据仓库能够通过该数据抽取视图直接获得集中后的数据，而不需要在下游仓库端针对新增产品通过创建数据抽取任务，并通过执行该数据抽取任务将新产品的产品数据抽取处理之后，与原来的数据进行合并等操作，能够大大提高数据抽取效率，节省人力物力成本。
在本公开一实施方式中，该数据获取方法可适用于通过数据抽取视图针对新增产品的产品数据与原产品的产品数据形成虚拟合集的数据获取系统。该数据获取系统中包括生产平台和下游数据仓库端的数据管理平台。
生产系统中产出的产品数据存储至物理表中，而不同产品的产品数据或者相同产品的不同维度(或者不同类型)的产品数据会记录在不同的物理表中。针对这一情况，在本公开一实施方式中，在生产系统创建数据抽取视图，该数据抽取视图为一虚拟视图，用于形成不同物理表中产品数据的虚拟合集。物理表用于实际存储产品数据，而虚拟视图可以理解为物理表的查看窗口，对虚拟视图的操作与对物理表的操作一致，但是虚拟视图中并不实际存储数据。对虚拟视图的操作在低层实际上被映射至物理表中进行。
在本公开一实施方式中，生产系统中随着业务的不断扩展，会不断新增产品。一个产品同一种维度的产品数据可以存储在一张或多张物理表中，而一个产品不同维度的产品数据可以存储在不同的物理表中，不同产品的产品数据也可以存储在不同的物理表中。新增产品的产品数据也可以存储至新的物理表中，并且新增产品的产品数据中不同维度的数据可以分别存储至不同的物理表中。例如，产品a的交易数据存储至物理表1，产品a的商户数据存储至物理表2，产品b的交易数据存储至物理表3，产品b的商户数据存储至物理表4等。
下游数据仓库从生产系统获取所有产品的产品数据，进而将不同产品相同维度的数据合集存储，例如，生产系统中当前存在产品a和b，下游数据仓库存储产品a和b的交易数据的合集1，下游数据仓库还存储产品a和b的商户数据的合集2。
生产系统中新增产品c后，产品c的交易数据可以存储至物理表5，而产品c的商户数据可以存储至物理表6。下游数据仓库可以从生产系统获取新增产品c的产品数据，进而存储至合集1和2。
已有技术中的方式是，下游数据仓库从生产系统获取存储产品c的交易数据的物理表5以及产品c的商户数据的物理表6，并将物理表5和6中的数据分别合并至合集1和合集2，这种方式由于涉及到从生产系统抽取物理表5和6的数据，并将物理表5和6的数据合并至合集1和2，涉及周期较长，无法满足下游数据使用方例如前端业务部门对于新产品数据的实时需求。上述仅是为了说明这一过程的一简单举例，实际应用中情况会复杂很多，并且数据量也较大，整个过程耗时耗力较大。
在本公开一实施方式中，针对生产系统中的产品数据可以建立一个或多个数据抽取视图，该数据抽取视图与下游数据仓库中的数据合集相对应，例如对应于存储产品的交易数据的合集1可以建立一张数据抽取视图，而对应于存储产品的商户数据的合集2可以建立另一张数据抽取视图。
下游数据仓库获取产品数据时，直接接入生产系统中创建的数据抽取视图，而不直接接入产品的物理表，在生产系统中新增产品之后，下游数据仓库无需进行改动，而是由生产系统更新数据抽取视图，将新增产品的产品数据的查看方式添加到数据抽取视图即可。
在本公开一实施方式中，数据管理平台属于下游数据仓库。数据管理平台可以基于数据抽取视图获取产品数据。生成系统接收到数据管理平台获取新增数据的请求之后，通过更新后的数据抽取视图从产品的物理表中抽取数据，并将数据返回给数据管理平台，以便数据管理平台将新增产品的数据存储至下游数据仓库中。
下游数据仓库端的数据管理平台在获取生产系统中所有产品的产品数据时，可以通过创建数据抽取任务，并执行该数据抽取任务，以便由该数据抽取任务基于生产系统端建立的数据抽取视图从生产系统获取产品数据，在接收到生成平台返回的产品数据之后，下游数据仓库端可以将从同一数据抽取视图获取的多个产品的同一维度的数据存储为一个合集，而将从不同数据抽取视图获取的多个产品的不同维度的数据存储为不同的合集。需要说明的是，可以针对不同的数据抽取视图创建不同的数据抽取任务，也可以针对不同的数据抽取视图创建同一个数据抽取任务，并在该数据抽取任务中一次从不同的数据抽取视图获取产品数据。
在本公开一实施方式中，步骤S301中，根据新增的所述新产品更新所述数据抽取视图的步骤，进一步可以包括以下步骤：
所述生产平台更新所述数据抽取视图对应的视图创建语句，以便将所述新产品的数据更新至所述数据抽取视图。
在本公开一实施方式中，步骤S303，即所述生产平台响应于数据管理平台的数据抽取请求，根据更新后的所述数据抽取视图抽取产品数据的步骤，进一步可以包括以下步骤：
所述生产平台响应于所述数据抽取请求，从所述数据抽取视图中的记录的产品对应的物理表中抽取所述产品数据。
在本公开一实施方式中，同一所述数据抽取视图涉及多个产品的同一维度的数据；所述物理表存储同一产品多个维度的数据。
在本公开一实施方式中，步骤S303中，根根据更新后的所述数据抽取视图抽取产品数据的步骤，进一步可以包括以下步骤：
所述生产平台根据更新后的所述数据抽取视图从多个产品对应的多张物理表中，抽取目标维度的产品数据。
在本公开一实施方式中，所述方法进一步可以包括以下步骤：
所述数据管理平台响应于新产品的新增事件，执行所述数据抽取任务，以便基于所述生产平台更新后的所述数据抽取视图从所述生产平台抽取新的产品数据。
在本公开一实施方式中，步骤S305，即所述数据管理平台接收所述生产平台返回的所述产品数据，并将所述产品数据存储在数据仓库的步骤，进一步可以包括以下步骤：
所述数据管理平台将从同一所述数据抽取视图获得的所述产品数据关联存储；
所述数据管理平台将从不同所述数据抽取视图获得的所述产品数据分开存储。
在本公开一实施方式中，步骤S302中，即所述数据管理平台创建数据抽取任务的步骤，进一步可以包括以下步骤：
所述数据管理平台通过在ETL工具提供的接口中进行配置的方式创建所述数据抽取任务；和/或，
所述数据管理平台通过编写所述数据仓库所支持的数据库脚本创建所述数据抽取任务。
在本公开一实施方式中，步骤S305，即所述数据管理平台接收所述生产平台返回的所述产品数据，并将所述产品数据存储在数据仓库的步骤，进一步可以包括以下步骤：
所述数据管理平台将通过同一所述数据抽取视图获取的所述产品数据，按照预先建立的ETL规则进行集成后存储至所述数据仓库中。
图3所示及相关实施方式中涉及的技术术语和技术特征与图1和图2所示及相关实施方式中提及的技术术语和技术特征相同或相似，对于图3所示及相关实施方式中涉及的技术术语和技术特征的解释和说明可参考上述对于图1和图2所示及相关实施方式的解释的说明，此处不再赘述。
图4示出根据本公开一实施方式的数据获取方法的应用场景示意图。图5示出根据本公开一实施方式的数据获取方法的整体流程图。如图4和5所示，该系统中可以包括下游数据仓库、大数据集群中的数据管理平台、生产系统。生产系统中包括多个产品的产品数据，例如可以包括产品1、……产品n，而每个产品包括交易信息和商户信息。生产系统针对所有产品的交易信息建立了全交易视图，针对所有产品的商户信息建立了另一全商户视图。数据管理平台通过ETL操作，基于全交易视图和全商户视图从生产系统的物理表中抽取产品数据，并经过清洗、转换等之后存储在下游数据仓库中，以便前端业务部门可以直接从下游数据仓库中获取经过整合的数据产品。
下述为本公开装置实施例，可以用于执行本公开方法实施例。
图6示出根据本公开一实施方式的数据获取装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图6所示，所述数据获取装置包括：
获取模块601，被配置为响应于新产品新增事件，获取至少一个数据抽取视图；
更新模块602，被配置为根据新增的所述新产品更新所述数据抽取视图；
抽取模块603，被配置为响应于数据管理平台的数据抽取请求，根据更新后的所述数据抽取视图抽取产品数据；
返回模块604，被配置为将所述产品数据返回给所述数据管理平台。
在本公开一实施方式中，该数据获取装置可适用于在生产系统中通过数据抽取视图针对新增产品的产品数据与原产品的产品数据形成虚拟合集。
图7示出根据本公开另一实施方式的数据获取装置的结构框图，该系统可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图7所示，所述数据获取装置包括：
创建模块701，被配置为创建数据抽取任务；
执行模块702，被配置为执行所述数据抽取任务，以便基于生产平台创建的数据抽取视图从所述生产平台抽取产品数据；
接收模块703，被配置为接收所述生产平台返回的所述产品数据，并将所述产品数据存储在数据仓库。
在本公开一实施方式中，该数据获取装置可适用于在下游数据仓库端的数据管理平台，从生产系统获取产品数据并进行集中存储之后，提供给前端业务部门。
图8示出根据本公开另一实施方式的数据获取系统的结构框图，该系统可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图8所示，所述数据获取系统包括：生产平台801和数据管理平台802；
所述生产平台801响应于新产品新增事件，获取至少一个数据抽取视图，并根据新增的所述新产品更新所述数据抽取视图；
所述数据管理平台802创建数据抽取任务，并执行所述数据抽取任务；
所述生产平台801响应于数据管理平台802的数据抽取请求，根据更新后的所述数据抽取视图抽取产品数据；
所述生产平台801将所述产品数据返回给所述数据管理平台802；
所述数据管理平台802接收所述生产平台801返回的所述产品数据，并将所述产品数据存储在数据仓库。
在本公开一实施方式中，该数据获取系统可适用于通过数据抽取视图针对新增产品的产品数据与原产品的产品数据形成虚拟合集的数据获取系统。
上述装置实施例所涉及的技术特征及其对应的解释和说明与上文所描述的方法实施例所涉及的技术特征及其对应的解释和说明相同、相应或相似，对于上述装置实施例所涉及的技术特征及其对应的解释和说明可参考上述方法实施例所涉及的技术特征及其对应的解释和说明，本公开在此不再赘述。
本公开实施例还公开了一种电子设备，所述电子设备包括存储器和处理器；其中，
所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现上述任一方法步骤。
图9是适于用来实现根据本公开一实施方式的数据获取方法的计算机系统的结构示意图。
如图9所示，计算机系统900包括处理单元901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行上述实施方式中的各种处理。在RAM903中，还存储有计算机系统900操作所需的各种程序和数据。处理单元901、ROM902以及RAM903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。其中，所述处理单元901可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。
特别地，根据本公开的实施方式，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行所述数据传输方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。
本公开实施例还公开了一种计算机程序产品，所述计算机程序产品包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述任一方法步骤。
附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开实施例的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种数据获取方法，包括：
响应于新产品新增事件，获取至少一个数据抽取视图；
根据新增的所述新产品更新所述数据抽取视图；
响应于数据管理平台的数据抽取请求，根据更新后的所述数据抽取视图抽取产品数据；
将所述产品数据返回给所述数据管理平台。
2.根据权利要求1所述的方法，其中，根据新增的所述新产品更新所述数据抽取视图，包括：
更新所述数据抽取视图对应的视图创建语句，以便将所述新产品的数据更新至所述数据抽取视图。
3.一种数据获取方法，包括：
创建数据抽取任务；
执行所述数据抽取任务，以便基于生产平台创建的数据抽取视图从所述生产平台抽取产品数据；
接收所述生产平台返回的所述产品数据，并将所述产品数据存储在数据仓库。
4.一种数据获取方法，包括：
生产平台响应于新产品新增事件，获取至少一个数据抽取视图，并根据新增的所述新产品更新所述数据抽取视图；
所述数据管理平台创建数据抽取任务，并执行所述数据抽取任务；
所述生产平台响应于数据管理平台的数据抽取请求，根据更新后的所述数据抽取视图抽取产品数据；
所述生产平台将所述产品数据返回给所述数据管理平台；
所述数据管理平台接收所述生产平台返回的所述产品数据，并将所述产品数据存储在数据仓库。
5.一种数据获取装置，包括：
获取模块，被配置为响应于新产品新增事件，获取至少一个数据抽取视图；
更新模块，被配置为根据新增的所述新产品更新所述数据抽取视图；
抽取模块，被配置为响应于数据管理平台的数据抽取请求，根据更新后的所述数据抽取视图抽取产品数据；
返回模块，被配置为将所述产品数据返回给所述数据管理平台。
6.一种数据获取装置，包括：
创建模块，被配置为创建数据抽取任务；
执行模块，被配置为执行所述数据抽取任务，以便基于生产平台创建的数据抽取视图从所述生产平台抽取产品数据；
接收模块，被配置为接收所述生产平台返回的所述产品数据，并将所述产品数据存储在数据仓库。
7.一种数据获取系统，包括：生产平台和数据管理平台；
所述生产平台响应于新产品新增事件，获取至少一个数据抽取视图，并根据新增的所述新产品更新所述数据抽取视图；
所述数据管理平台创建数据抽取任务，并执行所述数据抽取任务；
所述生产平台响应于数据管理平台的数据抽取请求，根据更新后的所述数据抽取视图抽取产品数据；
所述生产平台将所述产品数据返回给所述数据管理平台；
所述数据管理平台接收所述生产平台返回的所述产品数据，并将所述产品数据存储在数据仓库。
8.一种电子设备，包括存储器和处理器；其中，
所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现权利要求1-4任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机指令，其中，该计算机指令被处理器执行时实现权利要求1-4任一项所述方法的步骤。
10.一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1-4任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110004063.4A CN112685485A (zh) | 2021-01-04 | 2021-01-04 | 数据获取方法、装置、电子设备、存储介质及程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110004063.4A CN112685485A (zh) | 2021-01-04 | 2021-01-04 | 数据获取方法、装置、电子设备、存储介质及程序产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112685485A true CN112685485A (zh) | 2021-04-20 |
Family
ID=75457084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110004063.4A Pending CN112685485A (zh) | 2021-01-04 | 2021-01-04 | 数据获取方法、装置、电子设备、存储介质及程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112685485A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113821202A (zh) * | 2021-08-27 | 2021-12-21 | 济南浪潮数据技术有限公司 | 一种管理软件文件生成方法、装置、设备及可读存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070203933A1 (en) * | 2006-02-24 | 2007-08-30 | Iversen Heine K | Method for generating data warehouses and OLAP cubes |
| CN102651102A (zh) * | 2012-04-09 | 2012-08-29 | 北京航空航天大学 | 一种基于产品全生命周期的协同环境下产品信息建模方法 |
| CN104731791A (zh) * | 2013-12-18 | 2015-06-24 | 东阳艾维德广告传媒有限公司 | 一种市场销售分析数据集市系统 |
| CN106250467A (zh) * | 2016-07-28 | 2016-12-21 | 北京中电普华信息技术有限公司 | 一种实现动态抽取指标的方法及装置 |
| CN107562931A (zh) * | 2017-09-15 | 2018-01-09 | 新智云数据服务有限公司 | 数据抽取系统和数据抽取方法 |
| CN108984549A (zh) * | 2017-05-31 | 2018-12-11 | 北京京东尚科信息技术有限公司 | 一种基于动态配置数据库的分库分表数据抽取方法和装置 |
| CN109299177A (zh) * | 2018-09-30 | 2019-02-01 | 江苏满运软件科技有限公司 | 数据抽取方法、装置、存储介质及电子设备 |
| CN111651425A (zh) * | 2019-03-04 | 2020-09-11 | 北京沃东天骏信息技术有限公司 | 数据集市的数据提取方法、装置、终端及存储介质 |
| CN111930352A (zh) * | 2020-08-10 | 2020-11-13 | 中国工商银行股份有限公司 | 银行金融产品上线方法及装置 |
-
2021
- 2021-01-04 CN CN202110004063.4A patent/CN112685485A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070203933A1 (en) * | 2006-02-24 | 2007-08-30 | Iversen Heine K | Method for generating data warehouses and OLAP cubes |
| CN102651102A (zh) * | 2012-04-09 | 2012-08-29 | 北京航空航天大学 | 一种基于产品全生命周期的协同环境下产品信息建模方法 |
| CN104731791A (zh) * | 2013-12-18 | 2015-06-24 | 东阳艾维德广告传媒有限公司 | 一种市场销售分析数据集市系统 |
| CN106250467A (zh) * | 2016-07-28 | 2016-12-21 | 北京中电普华信息技术有限公司 | 一种实现动态抽取指标的方法及装置 |
| CN108984549A (zh) * | 2017-05-31 | 2018-12-11 | 北京京东尚科信息技术有限公司 | 一种基于动态配置数据库的分库分表数据抽取方法和装置 |
| CN107562931A (zh) * | 2017-09-15 | 2018-01-09 | 新智云数据服务有限公司 | 数据抽取系统和数据抽取方法 |
| CN109299177A (zh) * | 2018-09-30 | 2019-02-01 | 江苏满运软件科技有限公司 | 数据抽取方法、装置、存储介质及电子设备 |
| CN111651425A (zh) * | 2019-03-04 | 2020-09-11 | 北京沃东天骏信息技术有限公司 | 数据集市的数据提取方法、装置、终端及存储介质 |
| CN111930352A (zh) * | 2020-08-10 | 2020-11-13 | 中国工商银行股份有限公司 | 银行金融产品上线方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113821202A (zh) * | 2021-08-27 | 2021-12-21 | 济南浪潮数据技术有限公司 | 一种管理软件文件生成方法、装置、设备及可读存储介质 |
| CN113821202B (zh) * | 2021-08-27 | 2023-12-22 | 济南浪潮数据技术有限公司 | 一种管理软件文件生成方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101828182B (zh) | 报告oltp数据的无etl零冗余系统和方法 | |
| US7424470B2 (en) | Local data repository generation | |
| US7814045B2 (en) | Semantical partitioning of data | |
| US9251212B2 (en) | Profiling in a massive parallel processing environment | |
| CN102917009B (zh) | 一种基于云计算技术的股票数据采集和存储方法和系统 | |
| CN105243528A (zh) | 大数据环境下金融it系统中图形化集中对账系统与方法 | |
| EP1989644A2 (en) | Systems and methods for finding log files generated by a distributed computer | |
| CN102196000A (zh) | 一种基于b/s结构的业务流程可视化方法及系统 | |
| CN111428458A (zh) | 通用报表生成方法、装置及计算机可读存储介质 | |
| US20160019242A1 (en) | Migrating Federated Data to Multi-Source Universe Database Environment | |
| CN111046237A (zh) | 用户行为数据处理方法、装置、电子设备及可读介质 | |
| US20150081744A1 (en) | Metadata model repository | |
| CN104503751B (zh) | 基于soa的数据源切换方法和基于soa的数据源切换系统 | |
| CN105975489A (zh) | 一种基于元数据的在线sql代码补全方法 | |
| Zou et al. | From a stream of relational queries to distributed stream processing | |
| CN111666144A (zh) | 批处理任务执行方法、系统以及机房部署系统 | |
| CN112685485A (zh) | 数据获取方法、装置、电子设备、存储介质及程序产品 | |
| CN114022188A (zh) | 目标人群圈选方法、装置、设备以及存储介质 | |
| CN107678856B (zh) | 一种处理业务实体中增量信息的方法及装置 | |
| US20200233867A1 (en) | Backend data aggregation system and method | |
| KR101828522B1 (ko) | 이종 데이터 처리를 위한 분산 병렬 처리 시스템 | |
| Zhou et al. | A multi-agent distributed data mining model based on algorithm analysis and task prediction | |
| CN103092574B (zh) | 一种基于递归自主式复杂任务分解系统及方法 | |
| CN110471378A (zh) | 一种水厂自动化控制及数据分析系统 | |
| US11544294B2 (en) | Distributing tables in a distributed database using consolidated grouping sources |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |