CN114168595A - 一种数据分析方法及装置 - Google Patents
一种数据分析方法及装置 Download PDFInfo
- Publication number
- CN114168595A CN114168595A CN202111497269.1A CN202111497269A CN114168595A CN 114168595 A CN114168595 A CN 114168595A CN 202111497269 A CN202111497269 A CN 202111497269A CN 114168595 A CN114168595 A CN 114168595A
- Authority
- CN
- China
- Prior art keywords
- client
- data set
- data
- product
- source data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000003860 storage Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 230000004931 aggregating effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 238000004140 cleaning Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 238000013075 data extraction Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000008140 language development Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及大数据技术领域，尤其涉及一种数据分析方法及装置。用于解决已有技术下通过客户端查询到的查询结果存在着时效性差的问题，该方法为：在接收到客户端发送的查询请求后，从客户端关联的数据仓库中获取客户端关联的宽表数据，其中，查询请求包括客户端的用户标识和待查询信息，宽表数据是对目标数据集合进行数据分析得到的，目标数据集合是将增量源数据集合和历史源数据集合进行汇总得到的，增量源数据集合是在确定满足触发条件时获取到的；再基于客户端的用户标识，从宽表数据中获取与待查询信息相匹配的客户端持有的产品的产品描述信息，从而基于获取到的产品描述信息生成客户端的查询结果；这样，提升了查询结果的时效性。
Description
技术领域
本申请涉及大数据技术领域，尤其涉及一种数据分析方法及装置。
背景技术
数据仓库的目的是构建面向分析的集成化数据环境，为企业或个人提供决策支持。由于传统数据仓库的数据更新周期通常是一天、一周，甚至是以一个月，因此，已有技术下，对上述数据仓库的数据进行数据分析，也跟随着数据更新周期进行的，这样，就导致得到的数据分析结果也是周期性的，存在着时效性差的问题。
通常企业或个人通过客户端的查询功能对自身持有的产品的资源进行查询，由于上述对数据仓库中的数据进行数据分析是周期性，导致得到的数据分析结果也是周期性的，这样，就造成企业或个人通过客户端查询到的查询结果不能准确地反映当前持有的产品的资源情况，因此，造成企业或个人通过客户端查询到的查询结果也存在着时效性差的问题。
综上，需要设计一种新的方法，以解决上述问题。
发明内容
本申请实施例提供一种数据分析方法及装置，用以解决已有技术下通过客户端查询到的查询结果存在着时效性差的问题。
本申请实施例提供的具体技术方案如下：
第一方面，一种数据分析方法，包括：
在接收到客户端发送的查询请求后，从所述客户端关联的大数据仓库中获取所述客户端关联的宽表数据，其中，所述查询请求包括所述客户端的用户标识和待查询信息，所述宽表数据是对目标数据集合进行数据分析得到的，所述目标数据集合是将增量源数据集合和历史源数据集合进行汇总处理得到的，所述增量源数据集合是在确定满足触发条件时获取到的，所述宽表数据包括每个客户端的用户标识，以及每个客户端持有的每个产品的产品描述信息；
基于所述客户端的用户标识，从所述宽表数据中获取与所述待查询信息相匹配的所述客户端持有的产品的产品描述信息，并基于获取到的所述产品描述信息，生成所述客户端的查询结果。
上述方法，由于宽表数据是对在结算周期内每确定满足触发条件时获取到的增量源数据集合，以及历史源数据集合进行汇总处理得到的目标数据集合进行数据分析后得到的，因此，宽表数据中包含了与客户端的待查询信息相匹配的、具有较高时效性的查询结果，可以实时反映客户端持有的产品的产品描述信息，提升了查询结果的时效性。
在一些实施例中，所述宽表数据是通过执行如下操作得到的：
在所述结算周期内，若确定满足所述触发条件，则从交易系统的数据库中，获取所述增量源数据集合，并将获取到的所述增量源数据集合存储至大数据仓库中，其中，所述增量源数据集合包括至少一个客户端的用户标识和所述至少一个客户端的增量交易数据；
将所述大数据仓库中的所述增量源数据集合和所述历史源数据集合进行汇总处理，得到目标数据集合，其中，所述历史源数据集合包括在本次获取所述增量源数据集合之前，与至少一个客户端关联的历史交易数据；
通过预先构建的宽表对所述目标数据集合进行数据分析，得到所述宽表数据。
上述方法，在结算周期内，每确定满足触发条件时，均从交易系统的数据库中，获取相应的增量源数据集合，然后，将历史源数据集合和增量源数据集合进行汇总处理，得到相应的目标数据集合，从而使对目标数据集合进行的数据分析，得到的数据分析结果(即，宽表数据)可以实时反映客户端持有的产品的产品描述信息，大大提升查询结果的时效性。
在一些实施例中，所述触发条件包括如下条件中的部分或全部：
当前时刻为预设时刻集合中的任意一个预设时刻，其中，所述预设时刻集合包含至少一个预设时刻，所述预设时刻是基于交易数据关联的产品设置的；
交易数据已存储至所述交易系统的数据库中，其中，所述交易数据是基于用户在关联的客户端上执行的点击操作得到的。
上述方法，通过设置触发条件，保证了在结算周期内，可以及时获取到增量源数据集合，从而保证了后续进行的数据分析可以实时反映每个客户端持有的产品描述信息，提升了数据分析结果的时效性，进而提升了查询结果的时效性。
在一些实施例中，在当前结算周期结束之前，在确定得到当前结算周期的最终的所述宽表数据之后，还包括：
获取每个客户端存储在所述大数据仓库中的当前结算周期的目标数据集合；
分别对所述当前结算周期的目标数据集合进行数据分析，得到每个客户端持有的每个产品的第一资源；
基于最终的所述宽表数据，获取每个客户端持有的每个产品的产品描述信息，并分别基于获取到的产品描述信息，得到每个客户端持有的每个产品的第二资源；
分别将第一资源与对应的第二资源进行比对；在确定比对结果无误后，将最终的所述宽表数据存储在所述大数据仓库中。
上述方法，在当前结算周期结束之前，在得到最终的宽表数据之后，采用二次对账的方式，可以确保最终的宽表数据与当前结算周期对应的全量数据相同，从而确保了基于最终的宽表数据，得到的每个客户端的数据分析结果的准确性。
在一些实施例中，所述将所述大数据仓库中的所述增量源数据集合和历史源数据集合进行汇总处理，得到目标数据集合，包括：
基于所述增量源数据集合包含的增量交易数据，对所述历史源数据集合包含的历史交易数据进行更新；
将更新后的所述历史源数据集合作为所述目标数据集合。
上述方法，在结算周期内，实时基于增量源数据集合，对大数据仓库中的历史源数据集合进行更新，以便于后续完成对实时交易数据(即，目标数据集合)的数据分析，从而得到更具时效性地、准确地数据分析结果(即，宽表数据)。
在一些实施例中，每个产品描述信息包括产品标识和对应的至少一条产品资源信息，每条产品资源信息包括所述客户端关联的消耗资源、增加资源，以及各自对应的产品数量；
所述基于获取到的所述产品描述信息，生成所述客户端的查询结果，包括：
分别基于每个产品的消耗资源、增加资源，以及各自对应的产品数量，按照每个结算周期，确定所述客户端持有的每个产品的资源，并基于确定的每个产品的资源，生成所述客户端的查询结果。
上述方法，通过数据分析，获取包含每个客户端的每个产品的产品资源信息，然后，在接收到客户端发送的查询请求时，可以基于查询请求包含的客户端的用户标识，从宽表数据中获取与待查询信息相匹配的客户端持有的产品的产品描述信息，从而分别基于每个产品描述信息包含的产品资源信息，确定客户端持有的资源，进而准确将实时收益情况反馈至客户端，以给予客户端更好的决策支持。
第二方面，一种数据分析装置，包括：
获取模块，用于在接收到客户端发送的查询请求后，从所述客户端关联的大数据仓库中获取所述客户端关联的宽表数据，其中，所述查询请求包括所述客户端的用户标识和待查询信息，所述宽表数据是对目标数据集合进行数据分析得到的，所述目标数据集合是将增量源数据集合和历史源数据集合进行汇总处理得到的，所述增量源数据集合是在确定满足触发条件时获取到的，所述宽表数据包括每个客户端的用户标识，以及每个客户端持有的每个产品的产品描述信息；
生成模块，用于基于所述客户端的用户标识，从所述宽表数据中获取与所述待查询信息相匹配的所述客户端持有的产品的产品描述信息，并基于获取到的所述产品描述信息，生成所述客户端的查询结果。
在一些实施例中，所述宽表数据是通过执行如下操作得到的：
在所述结算周期内，若确定满足所述触发条件，则从交易系统的数据库中，获取所述增量源数据集合，并将获取到的所述增量源数据集合存储至大数据仓库中，其中，所述增量源数据集合包括至少一个客户端的用户标识和所述至少一个客户端的增量交易数据；
将所述大数据仓库中的所述增量源数据集合和所述历史源数据集合进行汇总处理，得到目标数据集合，其中，所述历史源数据集合包括在本次获取所述增量源数据集合之前，与至少一个客户端关联的历史交易数据；
通过预先构建的宽表对所述目标数据集合进行数据分析，得到所述宽表数据。
在一些实施例中，所述触发条件包括如下条件中的部分或全部：
当前时刻为预设时刻集合中的任意一个预设时刻，其中，所述预设时刻集合包含至少一个预设时刻，所述预设时刻是基于交易数据关联的产品设置的；
交易数据已存储至所述交易系统的数据库中，其中，所述交易数据是基于用户在关联的客户端上执行的点击操作得到的。
在一些实施例中，在当前结算周期结束之前，在确定得到当前结算周期的最终的所述宽表数据之后，所述获取模块还用于：
获取每个客户端存储在所述大数据仓库中的当前结算周期的目标数据集合；
分别对所述当前结算周期的目标数据集合进行数据分析，得到每个客户端持有的每个产品的第一资源；
基于最终的所述宽表数据，获取每个客户端持有的每个产品的产品描述信息，并分别基于获取到的产品描述信息，得到每个客户端持有的每个产品的第二资源；
分别将第一资源与对应的第二资源进行比对；在确定比对结果无误后，将最终的所述宽表数据存储在所述大数据仓库中。
在一些实施例中，所述将所述大数据仓库中的所述增量源数据集合和历史源数据集合进行汇总处理，得到目标数据集合，所述获取模块用于：
基于所述增量源数据集合包含的增量交易数据，对所述历史源数据集合包含的历史交易数据进行更新；
将更新后的所述历史源数据集合作为所述目标数据集合。
在一些实施例中，每个产品描述信息包括产品标识和对应的至少一条产品资源信息，每条产品资源信息包括所述客户端关联的消耗资源、增加资源，以及各自对应的产品数量；
所述基于获取到的所述产品描述信息，生成所述客户端的查询结果，所述生成模块用于：
分别基于每个产品的消耗资源、增加资源，以及各自对应的产品数量，按照每个结算周期，确定所述客户端持有的每个产品的资源，并基于确定的每个产品的资源，生成所述客户端的查询结果。
第三方面，本申请实施例提供一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面任一所述的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，所述电子设备能够执行如第一方面任一所述的方法。
第五方面，本申请实施例提供一种计算机程序产品，当计算机程序产品在被电子设备调用执行时，使得所述电子设备执行如第一方面任一所述的方法。
另外，第二方面至第五方面中任一一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果，此处不再赘述。
附图说明
图1为本申请实施例中一种数据分析方法的应用场景示意图；
图2为本申请实施例中大数据仓库的数仓分层架构示意图；
图3为本申请实施例中一种数据分析方法的流程示意图；
图4为本申请实施例中一种确定最终的宽表数据的流程示意图；
图5为本申请实施例中一种数据分析方法的流程示意图；
图6为本申请实施例中一种数据分析装置的逻辑架构示意图；
图7为本申请实施例中电子设备的实体架构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够在除了这里图示或描述的那些以外的顺序实施。
为了解决已有技术下通过客户端查询到的查询结果存在着时效性差的问题，本申请实施例中，在接收到客户端发送的查询请求后，从客户端关联的数据仓库中获取客户端关联的宽表数据，其中，查询请求包括客户端的用户标识和待查询信息，宽表数据是对目标数据集合进行数据分析得到的，目标数据集合是将增量源数据集合和历史源数据集合进行汇总处理得到的，增量源数据集合是在确定满足触发条件时获取到的，宽表数据包括每个客户端的用户标识，以及每个客户端持有的每个产品的产品描述信息；再基于客户端的用户标识，从宽表数据中获取与待查询信息相匹配的客户端持有的产品的产品描述信息，从而基于获取到的产品描述信息生成客户端的查询结果，这样，由于宽表数据是对在结算周期内每确定满足触发条件时获取到的增量源数据集合，以及历史源数据集合进行汇总处理得到的目标数据集合进行数据分析后得到的，因此，宽表数据中包含了与客户端的待查询信息相匹配的、具有较高时效性的查询结果，可以实时反映客户端持有的产品的产品描述信息，从而提升了查询结果的时效性。
下面结合附图对本申请优选的实施方式做出进一步详细说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请实施例及实施例中的特征可以相互组合。
参阅图1所示，其为本申请实施例中的一种数据分析方法的应用场景示意图。该应用场景示意图中包括客户端100、交易系统200和数据分析系统300。客户端100交易系统200和数据分析系统300三者之间可以通过通信网络进行通信连接。可选的，通信网络可以是有线网络或无线网络。交易系统200和数据分析系统300之间可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
本申请实施例中，客户端100为用户使用的电子设备，该电子设备可以是个人计算机、手机、平板电脑、笔记本、车载终端等设备。交易系统200、数据分析系统300可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
本申请实施例中，用户通过客户端100执行交易操作之后，交易系统200根据客户端100执行的交易操作生成对应的增量交易数据，并将增量交易数据存储在交易系统200的数据库中。在结算周期内，数据分析系统300在确定满足触发条件时，则从交易系统200的数据库中，获取增量源数据集合，并将获取到的增量源数据集合存储在数据分析系统300的大数据仓库中。
图2示出了大数据仓库的数仓分层架构示意图。参阅图2所示，本申请实施例中，大数据仓库包括操作存储数据层(Operational Data Store，ODS)、数据明细层(DataWarehouse Detail，DWD)、数据服务层(Data WareHouse Servce，DWS)和应用数据服务层(Application Data Store，ADS)，其中，
操作存储数据层，用于通过数据加载(Extract-Transform-Load，ETL)从交易系统的数据库中获取增量源数据集合，其中，增量源数具集合是在结算周期内，每确定满足触发条件时，从交易系统的数据库会中获取到的，增量源数据集合包括至少一个客户端的用户标识和该至少一个客户端的增量交易数据；然后，操作存储数据层在接收到该增量源数据集合之后，对该增量源数据集合包含的每个数据进行数据清洗、数据过滤，清洗、过滤掉关键信息丢失、存在数据损坏的数据；在完成对每个数据进行的数据清洗、数据过滤之后，将增量源数据集合进行存储；
数据明细层，用于将增量源数据集合和历史源数据集合进行汇总处理，得到目标数据集合，其中，历史源数据集合包括在本次获取增量源数据集合之前，大数据仓库中存储的与该至少一个客户端关联的历史交易数据；
数据服务层，用于通过预先构建的宽表，对目标数据集合进行数据分析，从而得到宽表数据，其中，宽表数据包括大数据仓库关联的每个客户端的用户标识，以及每个客户端持有的每个产品的产品描述信息。
应用数据服务层，用于根据不同客户端的不同查询请求，从数据服务层得到的宽表数据中获取与查询请求包含的待查询信息相匹配的客户端持有的产品和产品描述信息，并基于获取到的产品描述信息生成查询请求对应的查询结果。
本申请实施例中，大数据仓库是基于大数据技术，利用数据仓库工具(Hive)构建分布式大数据仓库。该大数据仓库通过分布式文件系统(Hadoop Distributed FileSystem，HDFS)实现对高吞吐量的数据访问，以及通过另一种资源协调者(Yarn)实现为上层应用提供统一的资源管理和调度，同时，该大数据仓库引入了基于Scala语言开发，封装了Spark SQL、统一光盘格式(Universal Disc Format，UDF)、用户定义的聚合函数(UserDefined Aggregate Function，UDAF)的数据分析工具，用于对获取到的交易数据进行数据分析，从而提高了数据分析系统的数据分析效率。
本申请实施例中，在介绍了大数据仓库的数仓分层架构示意图之后，参阅图3所示，提供了一种数据分析方法，具体流程如下：
步骤300：在结算周期内，若确定满足触发条件，则从交易系统的数据库中，获取增量源数据集合，并将获取到的增量源数据集合存储至大数据仓库中，其中，增量源数据集合包括至少一个客户端的用户标识和至少一个客户端的增量交易数据。
本申请实施例中，通常结算周期为一天，那么，在每个结算周期内，当确定满足触发条件时，通过ETL从交易系统的数据库中，获取增量源数据集合，以降低数据提取的复杂性；其中，上述触发条件包括如下条件中部分或全部：
条件一，当前时刻为预设时刻集合中的任意一个预设时刻，其中，预设时刻集合包含至少一个预设时刻，预设时刻是基于交易数据关联的产品设置的。
例如，以XX产品为例。
假设该XX产品每天下午三点结束交易并完成增量交易数据的统计和落库工作。
则将下午三点作为预设时间集合中的一个预设时刻。
那么，数据分析系统在确定当前时刻是“下午三点”时，且确定当前时刻(“下午三点”)为预设时刻集合中的一个预设时刻，即在当前结算结果内，确定满足了触发条件，则从交易系统的数据库中，获取增量源数据集合，其中，增量源数据集合包括该XX产品在下午三点结束交易时存在交易系统的数据库中的增量交易数据。
条件二，交易数据已存储至所述交易系统的数据库中，其中，交易数据是基于用户在关联的客户端上执行的点击操作得到的。
例如，仍以XX产品为例。
假设用户在上午十点通过客户端执行了点击操作，如，买入了XX产品，随之，用户在关联的客户端上执行的点击操作得到的增量交易数据存储在交易系统的数据库中。
那么，数据分析系统确定交易系统的数据库中已存储了针对上述用户通过客户端执行的点击操作(即，买入操作)的交易数据，即在当前结算周期内，确定满足了触发条件，则从交易系统的数据库中，获取增量源数据集合，其中，该增量源数据集合包含该用户通过关联的客户端上执行的点击操作得到的增量交易数据。
本申请实施例中，在从交易系统的数据库中，获取到增量源数据集合之后，对增量源数据集合包含的每个数据进行数据清洗、数据过滤，并将通过数据清洗、数据过滤的数据存储至操作存储数据层，其中，操作存储数据层中存储的数据采用分时、分区存储。
需要说明的是，本申请实施例中，通过ETL处理降低了数据抽取的复杂性，且操作存储数据层存储的数据的数据结构与交易系统的数据库中存储的源数据的数据结构基本保持一致。
例如，假设交易系统的数据库中包括用户信息、关联的产品信息、持有产品信息、合约信息、交易信息、流水数据和不同维度数据信息等。
那么，在操作存储数据层中，存储的从交易系统的数据库中抽取的增量源数据集合的数据结构，与交易系统的数据库中的数据结构保持一致，同样包括用户信息、关联的产品信息、持有产品信息、合约信息、交易信息、流水数据和不同维度数据信息等。
步骤310：将大数据仓库中的增量源数据集合和历史源数据集合进行汇总处理，得到目标数据集合，其中，历史源数据集合包括在本次获取增量源数据集合之前，与至少一个客户端关联的历史交易数据。
本申请实施例中，在执行步骤310时，通过执行如下操作，得到目标数据集合：
操作一，基于增量源数据集合包含的增量交易数据，对历史源数据集合包含的历史交易数据进行更新。
本申请实施例中，通过封装了Spark SQL、UDF、UDAF的数据分析工具，基于增量源数据集合包含的增量交易数据，对历史源数据集合包含的历史交易数据进行更新，以形成全量切片表、拉链表、历史数据汇总表等，以便于后续通过上述各表提取到宽表所需的产品描述信息。
操作二，将更新后的历史源数据集合作为目标数据集合。
本申请实施例中，将更新后的历史数据汇总表、全量切片表、拉链表等，组成目标数据集合，已便于后续基于目标数据集合做进一步的数据分析，高效地得到宽表数据。
具体实施中，通过上述操作一和操作二，采用封装了Spark SQL、UDF、UDAF的数据分析工具，将增量源数据集合和历史源数据集合进行汇总处理，关联出相应的属性字段(如，产品价格)、维度字段(如，产品持仓情况)，从而抽象出产品调整资源数据模型和客户端产品持有数据模型。
步骤320：通过预先构建的宽表对目标数据集合进行数据分析，得到宽表数据。
本申请实施例中，采用封装了Spark SQL、UDF、UDAF的数据分析工具，通过预先构建的宽表，对数据明细层存储的目标数据集合进行进一步的数据分析，从而提取出目标数据集合包含的每个客户端持有的每个产品的产品描述信息，其中，每个产品描述信息包括产品标识和对应的至少一条产品资源信息，每条产品资源信息包括对应的客户端关联的消耗资源、增加资源，以及各自对应的产品数量。
需要说明的是，本申请实施例中，在结算周期内，每当确定满足触发条件，则通过执行步骤300-步骤320，得到相应的宽表数据，那么，在结算周期内，用户通过客户端获得的查询结果都是基于当前最新的数据进行数据分析后得到的，因此，数据分析结果是可以准确反映当前的资源情况，可以给予用户更好的决策支持。
本申请实施例中，在确定满足触发条件，从交易系统的数据库中获取增量源数据集合之后，可以判断一下当前结算周期内，在执行完本次获取操作之后，是否还需执行下一次获取操作。
具体的，可以通过预设时刻集合，判断本次获取操作对应的时刻之后，是否还存在下一个预设时刻；还可以通过与数据分析系统相连接的交易系统的交易规则，判断在执行完成本次获取操作后，是否还存在下一次获取操作等。本申请实施例中，对如何确定本次获取操作是当前结算周期内，最后一次获取操作不做具体限定，实际应用中可以基于实际情况进行具体限定。
本申请实施例中，当确定在执行完本次获取操作之后，不在存在下一次获取增量源数据集合的获取操作时，将基于本次获取到的增量源数据集合，执行上述数据分析过程之后得到的宽表数据，作为最终的宽表数据。
本申请实施例中，参阅图4所示，在当前结算周期结束之前，在确定得到当前结算周期的最终的宽表数据之后，提供了另一种数据分析方法，具体流程如下：
步骤400：获取每个客户端存储在所述大数据仓库中的当前结算周期的目标数据集合。
步骤410：分别对当前结算周期的目标数据集合进行数据分析，得到每个客户端持有的每个产品的第一资源。
步骤420：基于最终的宽表数据，获取每个客户端持有的每个产品的产品描述信息，并分别基于获取到的产品描述信息，得到每个客户端持有的每个产品的第二资源。
步骤430：分别将第一资源与对应的第二资源进行比对；在确定比对结果无误后，将最终的宽表数据存储在大数据仓库中。
本申请实施例中，通过执行步骤400-步骤430，可以在结算周期结束之前，在得到最终的宽表数据(即，确定当前结算周期内，获取增量源数据集合对应的触发条件均已发生，且增量交易数据已停止更新)之后，通过对当前结算周期内已存储的当日历史源数据集合进行数据分析，分别得到该当日历史源数据集合关联的每个客户端持有的每个产品的第一资源，并与基于最终的宽表数据确定的相应的产品的第二资源进行比对，从而通过二次对账的方式，确保最终的宽表数据中每个客户端持有的每个产品的产品资源信息的准确性。
在一些实施例中，可以将得到的最终的宽表数据持久化存储在Hive、HBase、HDFS中。
参阅图5所示，本申请实施例提供了一种数据分析方法，该数据分析方法获得的查询结果是基于上述大数据仓库进行的数据分析得到的，该方法具体流程如下：
步骤500：在接收到客户端发送的查询请求后，从客户端关联的数据仓库中获取客户端关联的宽表数据，其中，查询请求包括客户端的用户标识和待查询信息，宽表数据是对目标数据集合进行数据分析得到的，目标数据集合是将增量源数据集合和历史源数据集合进行汇总处理得到的，每个增量源数据集合是在每确定满足触发条件时获取到的，宽表数据包括每个客户端的用户标识，以及每个客户端持有的每个产品的产品描述信息。
步骤510：基于客户端的用户标识，从宽表数据中获取与待查询信息相匹配的客户端持有的产品的产品描述信息，并基于获取到的产品描述信息生成客户端的查询结果。
本申请实施例中，每个产品描述信息包括产品标识和对应的至少一条产品资源信息，每条产品资源信息包括所述客户端关联的消耗资源、增加资源，以及各自对应的产品数量；那么，在基于客户端的用户标识，从宽表数据找那个获取与待查询信息相匹配的客户端持有的产品的产品描述信息，则分别基于每个产品的消耗资源、增加资源，以及各自对应的产品数量，按照每个结算周期，确定客户端持有的每个产品的资源，并基于确定的每个产品的资源，生成客户端的查询结果。
可选的，本申请实施例中，在生成客户端的查询结果后，将生成的查询结果发送至该客户端，以使用户通过客户端查看当前自身持有的产品的资源。
一些可能的实施例中，基于上述宽表数据，可以根据不同的查询请求，定制相应的查询结果，如上述待查询信息可以包括资源汇总结果、资源明细结果、资源走势分析结果、资源收益排名结果、资源分布结果等等。
这样，由于上述产品描述信息是基于对目标数据集合进行数据分析得到的，且目标数据集合是基于满足触发条件获取到的增量源数据集合和历史源数据集合进行汇总处理得到的，即数据分析存在时效性，因此，生成的查询结果也存在较高的时效性，解决了已有技术下通过客户端查询到的查询结果存在时效性差的问题。同时，由于采用了二次对账方式，确保了数据分析结果的准确性，从而基于获得的上述查询结果，可以及时调整资源分配策略，以获得更优的资源分配策略。
本申请技术方案中，对数据的采集、传播、使用等，均符合国家相关法律法规要求。
基于同一发明构思，参阅图6所示，本申请实施例中提供一种数据分析装置，包括：
获取模块610，用于在接收到客户端发送的查询请求后，从所述客户端关联的大数据仓库中获取所述客户端关联的宽表数据，其中，所述查询请求包括所述客户端的用户标识和待查询信息，所述宽表数据是对目标数据集合进行数据分析得到的，所述目标数据集合是将增量源数据集合和历史源数据集合进行汇总处理得到的，所述增量源数据集合是在确定满足触发条件时获取到的，所述宽表数据包括每个客户端的用户标识，以及每个客户端持有的每个产品的产品描述信息；
生成模块620，用于基于所述客户端的用户标识，从所述宽表数据中获取与所述待查询信息相匹配的所述客户端持有的产品的产品描述信息，并基于获取到的所述产品描述信息，生成所述客户端的查询结果。
在一些实施例中，所述宽表数据是通过执行如下操作得到的：
在所述结算周期内，若确定满足所述触发条件，则从交易系统的数据库中，获取所述增量源数据集合，并将获取到的所述增量源数据集合存储至大数据仓库中，其中，所述增量源数据集合包括至少一个客户端的用户标识和所述至少一个客户端的增量交易数据；
将所述大数据仓库中的所述增量源数据集合和所述历史源数据集合进行汇总处理，得到目标数据集合，其中，所述历史源数据集合包括在本次获取所述增量源数据集合之前，与至少一个客户端关联的历史交易数据；
通过预先构建的宽表对所述目标数据集合进行数据分析，得到所述宽表数据。
在一些实施例中，所述触发条件包括如下条件中的部分或全部：
当前时刻为预设时刻集合中的任意一个预设时刻，其中，所述预设时刻集合包含至少一个预设时刻，所述预设时刻是基于交易数据关联的产品设置的；
交易数据已存储至所述交易系统的数据库中，其中，所述交易数据是基于用户在关联的客户端上执行的点击操作得到的。
在一些实施例中，在当前结算周期结束之前，在确定得到当前结算周期的最终的所述宽表数据之后，所述获取模块610还用于：
获取每个客户端存储在所述大数据仓库中的当前结算周期的目标数据集合；
分别对所述当前结算周期的目标数据集合进行数据分析，得到每个客户端持有的每个产品的第一资源；
基于最终的所述宽表数据，获取每个客户端持有的每个产品的产品描述信息，并分别基于获取到的产品描述信息，得到每个客户端持有的每个产品的第二资源；
分别将第一资源与对应的第二资源进行比对；在确定比对结果无误后，将最终的所述宽表数据存储在所述大数据仓库中。
在一些实施例中，所述将所述大数据仓库中的所述增量源数据集合和历史源数据集合进行汇总处理，得到目标数据集合，所述获取模块610用于：
基于所述增量源数据集合包含的增量交易数据，对所述历史源数据集合包含的历史交易数据进行更新；
将更新后的所述历史源数据集合作为所述目标数据集合。
在一些实施例中，每个产品描述信息包括产品标识和对应的至少一条产品资源信息，每条产品资源信息包括所述客户端关联的消耗资源、增加资源，以及各自对应的产品数量；
所述基于获取到的所述产品描述信息包含的产品资源信息，生成所述客户端的查询结果，所述生成模块620用于：
分别基于每个产品的消耗资源、增加资源，以及各自对应的产品数量，按照每个结算周期，确定所述客户端持有的每个产品的资源，并基于确定的每个产品的资源，生成所述客户端的查询结果。
参阅图7所示，本申请实施例中提供一种电子设备，该电子设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、服务器等。如图7所示，该电子设备可以包括处理器701和存储器702。
处理器701可以是通用处理器，例如中央处理器(CPU)、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器702作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random Access Memory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器702还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；上述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于：移动存储设备、随机存取存储器(RAM，Random Access Memory)、磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、随机存取存储器(RAM，Random Access Memory)、磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等各种可以存储程序代码的介质。
在一些可能的实施方式中，本公开提供的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本公开各种示例性实施方式的方法中的步骤，例如，所述计算机设备可以执行本公开实施例所述方法。所述程序产品可以采用一个或多个可读介质的任意组合。
综上所述，本申请实施例中，在接收到客户端发送的查询请求后，从客户端关联的数据仓库中获取客户端关联的宽表数据，其中，查询请求包括客户端的用户标识和待查询信息，宽表数据是对目标数据集合进行数据分析得到的，目标数据集合是将增量源数据集合和历史源数据集合进行汇总处理得到的，增量源数据集合是在确定满足触发条件时获取到的，宽表数据包括每个客户端的用户标识，以及每个客户端持有的每个产品的产品描述信息；再基于客户端的用户标识，从宽表数据中获取与待查询信息相匹配的客户端持有的产品的产品描述信息，从而基于获取到的产品描述信息生成客户端的查询结果，这样，由于宽表数据是对在结算周期内每确定满足触发条件获取到的增量源数据集合，以及历史源数据集合进行汇总处理得到的目标数据集合进行数据分析后得到的，因此，宽表数据中包含了与客户端的待查询信息相匹配的、具有较高时效性的查询结果，可以实时反映客户端持有的产品的产品描述信息，从而提升了查询结果的时效性。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图中的一个流程或多个流程和/或方框图中的一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图中的一个流程或多个流程和/或方框图中的一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图中的一个流程或多个流程和/或方框图中的一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (15)
1.一种数据分析方法，其特征在于，包括：
在接收到客户端发送的查询请求后，从所述客户端关联的大数据仓库中获取所述客户端关联的宽表数据，其中，所述查询请求包括所述客户端的用户标识和待查询信息，所述宽表数据是对目标数据集合进行数据分析得到的，所述目标数据集合是将增量源数据集合和历史源数据集合进行汇总处理得到的，所述增量源数据集合是在确定满足触发条件时获取到的，所述宽表数据包括每个客户端的用户标识，以及每个客户端持有的每个产品的产品描述信息；
基于所述客户端的用户标识，从所述宽表数据中获取与所述待查询信息相匹配的所述客户端持有的产品的产品描述信息，并基于获取到的所述产品描述信息，生成所述客户端的查询结果。
2.如权利要求1所述的方法，其特征在于，所述宽表数据是通过执行如下操作得到的：
在所述结算周期内，若确定满足所述触发条件，则从交易系统的数据库中，获取所述增量源数据集合，并将获取到的所述增量源数据集合存储至大数据仓库中，其中，所述增量源数据集合包括至少一个客户端的用户标识和所述至少一个客户端的增量交易数据；
将所述大数据仓库中的所述增量源数据集合和所述历史源数据集合进行汇总处理，得到目标数据集合，其中，所述历史源数据集合包括在本次获取所述增量源数据集合之前，与至少一个客户端关联的历史交易数据；
通过预先构建的宽表对所述目标数据集合进行数据分析，得到所述宽表数据。
3.如权利要求2所述的方法，其特征在于，所述触发条件包括如下条件中的部分或全部：
当前时刻为预设时刻集合中的任意一个预设时刻，其中，所述预设时刻集合包含至少一个预设时刻，所述预设时刻是基于交易数据关联的产品设置的；
交易数据已存储至所述交易系统的数据库中，其中，所述交易数据是基于用户在关联的客户端上执行的点击操作得到的。
4.如权利要求2所述的方法，其特征在于，在当前结算周期结束之前，在确定得到当前结算周期的最终的所述宽表数据之后，还包括：
获取每个客户端存储在所述大数据仓库中的当前结算周期的目标数据集合；
分别对所述当前结算周期的目标数据集合进行数据分析，得到每个客户端持有的每个产品的第一资源；
基于最终的所述宽表数据，获取每个客户端持有的每个产品的产品描述信息，并分别基于获取到的产品描述信息，得到每个客户端持有的每个产品的第二资源；
分别将第一资源与对应的第二资源进行比对；在确定比对结果无误后，将最终的所述宽表数据存储在所述大数据仓库中。
5.如权利要求2所述的方法，其特征在于，所述将所述大数据仓库中的所述增量源数据集合和历史源数据集合进行汇总处理，得到目标数据集合，包括：
基于所述增量源数据集合包含的增量交易数据，对所述历史源数据集合包含的历史交易数据进行更新；
将更新后的所述历史源数据集合作为所述目标数据集合。
6.如权利要求1-5任一项所述的方法，其特征在于，每个产品描述信息包括产品标识和对应的至少一条产品资源信息，每条产品资源信息包括所述客户端关联的消耗资源、增加资源，以及各自对应的产品数量；
所述基于获取到的所述产品描述信息，生成所述客户端的查询结果，包括：
分别基于每个产品的消耗资源、增加资源，以及各自对应的产品数量，按照每个结算周期，确定所述客户端持有的每个产品的资源，并基于确定的每个产品的资源，生成所述客户端的查询结果。
7.一种数据分析装置，其特征在于，包括：
获取模块，用于在接收到客户端发送的查询请求后，从所述客户端关联的大数据仓库中获取所述客户端关联的宽表数据，其中，所述查询请求包括所述客户端的用户标识和待查询信息，所述宽表数据是对目标数据集合进行数据分析得到的，所述目标数据集合是将增量源数据集合和历史源数据集合进行汇总处理得到的，所述增量源数据集合是在确定满足触发条件时获取到的，所述宽表数据包括每个客户端的用户标识，以及每个客户端持有的每个产品的产品描述信息；
生成模块，用于基于所述客户端的用户标识，从所述宽表数据中获取与所述待查询信息相匹配的所述客户端持有的产品的产品描述信息，并基于获取到的所述产品描述信息，生成所述客户端的查询结果。
8.如权利要求7所述的装置，其特征在于，所述宽表数据是通过执行如下操作得到的：
在所述结算周期内，若确定满足所述触发条件，则从交易系统的数据库中，获取所述增量源数据集合，并将获取到的所述增量源数据集合存储至大数据仓库中，其中，所述增量源数据集合包括至少一个客户端的用户标识和所述至少一个客户端的增量交易数据；
将所述大数据仓库中的所述增量源数据集合和所述历史源数据集合进行汇总处理，得到目标数据集合，其中，所述历史源数据集合包括在本次获取所述增量源数据集合之前，与至少一个客户端关联的历史交易数据；
通过预先构建的宽表对所述目标数据集合进行数据分析，得到所述宽表数据。
9.如权利要求8所述的装置，其特征在于，所述触发条件包括如下条件中的部分或全部：
当前时刻为预设时刻集合中的任意一个预设时刻，其中，所述预设时刻集合包含至少一个预设时刻，所述预设时刻是基于交易数据关联的产品设置的；
交易数据已存储至所述交易系统的数据库中，其中，所述交易数据是基于用户在关联的客户端上执行的点击操作得到的。
10.如权利要求8所述的装置，其特征在于，在当前结算周期结束之前，在确定得到当前结算周期的最终的所述宽表数据之后，所述获取模块还用于：
获取每个客户端存储在所述大数据仓库中的当前结算周期的目标数据集合；
分别对所述当前结算周期的目标数据集合进行数据分析，得到每个客户端持有的每个产品的第一资源；
基于最终的所述宽表数据，获取每个客户端持有的每个产品的产品描述信息，并分别基于获取到的产品描述信息，得到每个客户端持有的每个产品的第二资源；
分别将第一资源与对应的第二资源进行比对；在确定比对结果无误后，将最终的所述宽表数据存储在所述大数据仓库中。
11.如权利要求8所述的装置，其特征在于，所述将所述大数据仓库中的所述增量源数据集合和历史源数据集合进行汇总处理，得到目标数据集合，所述获取模块用于：
基于所述增量源数据集合包含的增量交易数据，对所述历史源数据集合包含的历史交易数据进行更新；
将更新后的所述历史源数据集合作为所述目标数据集合。
12.如权利要求8-11任一项所述的装置，其特征在于，每个产品描述信息包括产品标识和对应的至少一条产品资源信息，每条产品资源信息包括所述客户端关联的消耗资源、增加资源，以及各自对应的产品数量；
所述基于获取到的所述产品描述信息，生成所述客户端的查询结果，所述生成模块用于：
分别基于每个产品的消耗资源、增加资源，以及各自对应的产品数量，按照每个结算周期，确定所述客户端持有的每个产品的资源，并基于确定的每个产品的资源，生成所述客户端的查询结果。
13.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-6任一所述的方法。
14.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，所述电子设备能够执行如权利要求1-6任一所述的方法。
15.一种计算机程序产品，其特征在于，当计算机程序产品在被电子设备调用执行时，使得所述电子设备执行如权利要求1-6任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111497269.1A CN114168595A (zh) | 2021-12-09 | 2021-12-09 | 一种数据分析方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111497269.1A CN114168595A (zh) | 2021-12-09 | 2021-12-09 | 一种数据分析方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114168595A true CN114168595A (zh) | 2022-03-11 |
Family
ID=80484755
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111497269.1A Pending CN114168595A (zh) | 2021-12-09 | 2021-12-09 | 一种数据分析方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114168595A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117251448A (zh) * | 2023-09-18 | 2023-12-19 | 北京数方科技有限公司 | 一种宽表拉链表数据处理方法及装置 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101661491A (zh) * | 2008-08-31 | 2010-03-03 | 阿里巴巴集团控股有限公司 | 数据仓库中宽表的更新方法和更新系统 |
| US20170032016A1 (en) * | 2014-03-07 | 2017-02-02 | SYSTEMA Systementwicklung Dip. -inf. Manfred Austen GmbH | Real-time information systems and methodology based on continuous homomorphic processing in linear information spaces |
| CN107330045A (zh) * | 2017-06-28 | 2017-11-07 | 携程旅游网络技术（上海）有限公司 | 机票预订平台的大数据可视化分析方法及系统 |
| CN107784098A (zh) * | 2017-10-24 | 2018-03-09 | 百味云科技股份有限公司 | 实时数据仓库平台 |
| CN108959608A (zh) * | 2018-07-13 | 2018-12-07 | 中国建设银行股份有限公司 | 历史交易信息查询方法以及装置 |
| CN109189835A (zh) * | 2018-08-21 | 2019-01-11 | 北京京东尚科信息技术有限公司 | 实时生成数据宽表的方法和装置 |
| CN109388637A (zh) * | 2018-09-21 | 2019-02-26 | 北京京东金融科技控股有限公司 | 数据仓库信息处理方法、装置、系统、介质 |
| CN110457333A (zh) * | 2019-07-29 | 2019-11-15 | 招商局金融科技有限公司 | 数据实时更新方法、装置及计算机可读存储介质 |
| CN111858601A (zh) * | 2020-07-23 | 2020-10-30 | 中国平安财产保险股份有限公司 | 树形结构数据查询方法、装置、设备及存储介质 |
| CN111984849A (zh) * | 2019-05-24 | 2020-11-24 | 北京京东尚科信息技术有限公司 | 一种信息查询方法、装置、设备及介质 |
| CN112069177A (zh) * | 2020-08-31 | 2020-12-11 | 银盛支付服务股份有限公司 | 一种数据查询方法、装置、计算机设备及可读存储介质 |
| CN112100182A (zh) * | 2020-09-27 | 2020-12-18 | 中国建设银行股份有限公司 | 数据入库处理方法、装置和服务器 |
| CN113760922A (zh) * | 2020-09-30 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 一种业务数据处理系统、方法、服务器和存储介质 |
-
2021
- 2021-12-09 CN CN202111497269.1A patent/CN114168595A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101661491A (zh) * | 2008-08-31 | 2010-03-03 | 阿里巴巴集团控股有限公司 | 数据仓库中宽表的更新方法和更新系统 |
| US20170032016A1 (en) * | 2014-03-07 | 2017-02-02 | SYSTEMA Systementwicklung Dip. -inf. Manfred Austen GmbH | Real-time information systems and methodology based on continuous homomorphic processing in linear information spaces |
| CN107330045A (zh) * | 2017-06-28 | 2017-11-07 | 携程旅游网络技术（上海）有限公司 | 机票预订平台的大数据可视化分析方法及系统 |
| CN107784098A (zh) * | 2017-10-24 | 2018-03-09 | 百味云科技股份有限公司 | 实时数据仓库平台 |
| CN108959608A (zh) * | 2018-07-13 | 2018-12-07 | 中国建设银行股份有限公司 | 历史交易信息查询方法以及装置 |
| CN109189835A (zh) * | 2018-08-21 | 2019-01-11 | 北京京东尚科信息技术有限公司 | 实时生成数据宽表的方法和装置 |
| CN109388637A (zh) * | 2018-09-21 | 2019-02-26 | 北京京东金融科技控股有限公司 | 数据仓库信息处理方法、装置、系统、介质 |
| CN111984849A (zh) * | 2019-05-24 | 2020-11-24 | 北京京东尚科信息技术有限公司 | 一种信息查询方法、装置、设备及介质 |
| CN110457333A (zh) * | 2019-07-29 | 2019-11-15 | 招商局金融科技有限公司 | 数据实时更新方法、装置及计算机可读存储介质 |
| CN111858601A (zh) * | 2020-07-23 | 2020-10-30 | 中国平安财产保险股份有限公司 | 树形结构数据查询方法、装置、设备及存储介质 |
| CN112069177A (zh) * | 2020-08-31 | 2020-12-11 | 银盛支付服务股份有限公司 | 一种数据查询方法、装置、计算机设备及可读存储介质 |
| CN112100182A (zh) * | 2020-09-27 | 2020-12-18 | 中国建设银行股份有限公司 | 数据入库处理方法、装置和服务器 |
| CN113760922A (zh) * | 2020-09-30 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 一种业务数据处理系统、方法、服务器和存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117251448A (zh) * | 2023-09-18 | 2023-12-19 | 北京数方科技有限公司 | 一种宽表拉链表数据处理方法及装置 |
| CN117251448B (zh) * | 2023-09-18 | 2024-04-30 | 北京数方科技有限公司 | 一种宽表拉链表数据处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10956422B2 (en) | Integrating event processing with map-reduce | |
| US9927992B2 (en) | Segmented database migration | |
| US9053231B2 (en) | Systems and methods for analyzing operations in a multi-tenant database system environment | |
| US9916353B2 (en) | Generating multiple query access plans for multiple computing environments | |
| CN108415964A (zh) | 数据表查询方法、装置、终端设备及存储介质 | |
| US11422881B2 (en) | System and method for automatic root cause analysis and automatic generation of key metrics in a multidimensional database environment | |
| CN108959279B (zh) | 数据处理方法、数据处理装置、可读介质及电子设备 | |
| US10108664B2 (en) | Generating multiple query access plans for multiple computing environments | |
| US20170300517A1 (en) | Index maintenance management of a relational database management system | |
| CN114168595A (zh) | 一种数据分析方法及装置 | |
| CN108280134B (zh) | 基于账户额度控制的数据流通系统及方法、存储介质、终端 | |
| CN113535766A (zh) | 作业流配置方法、装置、电子装置及存储介质 | |
| CN111723004B (zh) | 敏捷软件开发的度量方法，度量数据输出方法以及装置 | |
| CN109544207A (zh) | 一种信息处理方法、存储介质和服务器 | |
| EP4147126A1 (en) | Method and system for identifying, managing, and monitoring data dependencies | |
| CN112527839A (zh) | 多源数据处理方法、系统、设备及存储介质 | |
| CN115599787A (zh) | 一种水平分表方法、装置、电子设备及存储介质 | |
| CN110858199A (zh) | 一种单据数据分布式计算的方法和装置 | |
| US8538993B2 (en) | Outsourced options management | |
| CN106874327B (zh) | 一种针对业务数据的计数方法及装置 | |
| CN117131059A (zh) | 报表数据处理方法、装置、设备及存储介质 | |
| CN114116908A (zh) | 一种数据管理方法、装置及电子设备 | |
| CN113778976A (zh) | 数据处理方法及装置、电子设备、存储介质 | |
| CN111708808A (zh) | 分布式业务系统及其业务汇总查询方法、装置和设备 | |
| Pöss | Methodologies for a comprehensive approach to measuring the performance of decision support systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |