CN117609398A - 数据处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据处理方法、装置、设备及存储介质。该方法包括：确定待入仓数据中与第一类型字段对应的第一数据以及与第二类型字段对应的第二数据，采用三范式模型存储所述第一数据，采用维度模型存储所述第二数据，所述第一数据的变化频率高于所述第二数据的变化频率；对所述第一数据与所述第二数据进行通用数据处理操作以得到第一结果与第二结果；根据数据使用场景从所述第一结果和/或第二结果中获取目标数据，并对所述目标数据执行与所述数据使用场景对应的数据处理操作，得到目标数据。本发明技术方案能够兼顾数据存储的稳定性与数据查询的灵活性。

Description

数据处理方法、装置、设备及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术

随着大数据的蓬勃发展，源系统数据指数级增长，数据的分析和应用需求也迅速膨胀。

目前通常采用宽表模型来存储源系统数据，但现有宽表模型通常很难兼顾数据存储的稳定性与数据查询的灵活性。

发明内容

本发明提供了一种数据处理方法、装置、设备及存储介质，以解决现有宽表模型很难兼顾数据存储的稳定性与数据查询的灵活性的问题。

根据本发明的一方面，提供了一种数据处理方法，包括：

确定待入仓数据中与第一类型字段对应的第一数据以及与第二类型字段对应的第二数据，采用三范式模型存储所述第一数据，采用维度模型存储所述第二数据，所述第一数据的变化频率高于所述第二数据的变化频率；

对所述第一数据与所述第二数据进行通用数据处理操作以得到第一结果与第二结果；

根据数据使用场景从所述第一结果和/或第二结果中获取目标数据，并对所述目标数据执行与所述数据使用场景对应的数据处理操作，得到目标数据。

根据本发明的另一方面，提供了数据处理方法，包括：

确定待入仓数据中与第一类型字段对应的第一数据以及与第二类型字段对应的第二数据，采用三范式模型存储所述第一数据，采用维度模型存储所述第二数据，所述第一数据的变化频率高于所述第二数据的变化频率；

对所述第一数据与所述第二数据进行通用数据处理操作以得到第一结果与第二结果；

根据数据使用场景从所述第一结果和/或第二结果中获取目标数据，并对所述目标数据执行与所述数据使用场景对应的数据处理操作，得到目标数据。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数据处理方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据处理方法。

本发明实施例提供的技术方案，由于第一数据的变化频率较高，因此采用三范式模型存储待入仓数据中与第一类型字段对应的第一数据，以准确完成第一数据的存储为主要目的；第二数据变化频率交底，对模型的存储速度的稳定性要求交底，因此采用维度模型存储待入仓数据中与第二类型字段对应的第二数据，以保证数据查询效率，很好地利用了不同模型的优点，兼顾了数据存储的稳定性、准确性与数据查询效率。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例提供的数据处理方法的流程图；

图2是根据本发明实施例提供的数据处理方法的又一流程图；

图3是根据本发明实施例提供的数据处理装置的结构示意图；

图4是实现本发明实施例的数据处理方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1为本发明实施例提供的数据处理方法的流程图，本实施例可适用于采用三范式模型与维度模型结合的方式存储源数据的情况，该方法可以由数据处理装置来执行，该数据处理装置可以采用硬件和/或软件的形式实现，该数据处理装置可配置于电子设备的处理器中。如图1所示，该方法包括：

S110、确定待入仓数据中与第一类型字段对应的第一数据以及与第二类型字段对应的第二数据，采用三范式模型存储第一数据，采用维度模型存储第二数据，第一数据的变化频率高于第二数据的变化频率。

待入仓数据包括至少一个数据来源的明细数据。其中，该至少一个数据来源可以理解为至少一个为数据仓库提供数据的的业务系统，比如贷款系统、存款系统等。

其中，三范式模型通过实体关系(E-R)体现经营活动的业务规则，通过满足三范式消除数据冗余的设计方法。

维度模型用于按照事实表与维度表来构建数据仓库或数据集市。

由于第一数据的变化频率较高，因此对数据存储的稳定性要求较高，为此本实施例采用三范式模型存储变化频率较高的第一数据，可以保证数据存储的灵活性，全面性与稳定性；虽然相较于三范式模型来说，维度模型的稳定性差一些，但由于第二数据的变化频率较低，数据本身稳定性较好，对响应速度要求较低，因此维度模型也可以满足数据存储稳定性的要求，因此采用维度模型存储变化频率较低的第二数据，而且维度模型具有较高的数据访问速度。

示例性的，对存款、贷款与理财等实体的数据采用维度模型存储，对与参与人相关实体的数据采用三范式模型存储。

在一个实施例中，在基于三范式模型存储所述待入仓数据中与第一类型字段对应的第一数据，基于维度模型存储所述待入仓数据中与第二类型字段对应的第二数据的同时，还确定所述待入仓数据中的第三数据与第四数据，所述第四数据为所述第三数据的明细数据；将所述第三数据存储于对应主表中，将所述第四数据存储于对应子表中，所述子表为所述主表的明细表。

以房贷为例。待入仓数据中的贷款总额、本金总和、利息总和与还款期数为第三数据，被存储于主表中。待入仓数据中每一期应还本息的明细数据为第四数据，被存储于明细表中。

在一个实施例中，确定待入仓数据的来源系统标识，将所述来源系统标识添加至对应数据表的主键字段。该实施例中，用户可以通过数据表中主键字段区分数据的来源。

在一个实施例中，如果所述第二数据包括符合设定冗余条件的维度属性，则将所述维度属性冗余到对应的表格中。该实施例适应于维度属性与数额(比如金额)会同时访问的情况，通过将二者设计到一张表格提高数据查询的速度与表格的可读性。

在一个实施例中，如果任一属性对应设定数量的类型，则采用三范式模型存储该属性对应的数据。示例性的，地址属性有很多类型，比如单位地址、家庭地址等，采用三范式模型存储该属性对应的数据可以提高表格的可读性与数据查询速度。

在一个实施例中，在基于三范式模型存储所述待入仓数据中与第一类型字段对应的第一数据之前，先对待入仓数据执行基础数据处理，以更新待入仓数据。

其中，基础数据处理包括但不限于：数据筛选操作、逻辑替换、业务逻辑处理、时间拉链累计、数据聚合、数据拼接、一致性维度、字段规范化处理等。

关于数据筛选操作，示例性的，以日期为筛选要素进行数据筛选的操作。关于逻辑替换，示例性的，敏感字段替换或模糊处理等。关于格式转换，示例性的，行转列、列转行、条件参数解析等。

其中，基础数据结果为明细级数据。基础数据处理包括口径筛选操作，因此基础数据结果与待入仓数据的颗粒度一致。

S120、对第一数据与所述第二数据进行通用数据处理操作以得到第一结果与第二结果。

通用数据处理兼顾数据与需求，用于确定适应于不同场景的数据处理结果。

其中，通用数据处理包括带口径的数据筛选与数据拼接。

在一个实施例中，通用数据处理包括但不限于不同源系统或者业务领域的各维度数据进行提纯、拼接等处理，提供不同业务领域的通用视图。

在一个实施例中，通用数据处理还包括原子度量和衍生度量的累计积数、折币种计算、维度衍生、标准化机构转换操作中的至少一个。

S130、根据数据使用场景从第一结果和/或第二结果中获取目标数据，并对目标数据进行与数据使用场景对应的数据处理，得到目标数据。

从需求角度出发，区分各类数据使用场景，针对各类数据使用场景，确定与当前数据使用场景对应的通用数据结果与数据处理规则；采用该数据处理规则对该通用数据结果进行处理，以得到目标数据。

在一个实施例中，响应于服务场景请求，调用与服务场景对应的数据模板，获取与所述服务场景对应的基础数据结果；对所述基础数据结果执行与所述服务场景对应的数据处理操作，得到目标数据结果；将所述目标数据结果添加至所述数据模板中以得到目标数据。该实施例通过结合与服务场景对应的数据模板与数据处理操作满足了用户不同的数据使用需求。

本发明实施例提供的技术方案，由于第一数据的变化频率较高，因此采用三范式模型存储待入仓数据中与第一类型字段对应的第一数据，以准确完成第一数据的存储为主要目的；第二数据变化频率交底，对模型的存储速度的稳定性要求交底，因此采用维度模型存储待入仓数据中与第二类型字段对应的第二数据，以保证数据查询效率，很好地利用了不同模型的优点，兼顾了数据存储的稳定性、准确性与数据查询效率。

图2为本发明实施例提供的数据处理方法的流程图，本实施例用于细化上述实施例中的数据存储操作。如图2所示，该方法包括：

S210、确定待入仓数据中与第一类型字段对应的第一数据以及与第二类型字段对应的第二数据，采用三范式模型存储第一数据，如果第二数据中存在联动变化数据，则将联动变化数据存储至同一表格中，采用维度模型存储第二数据中的非联动变化数据，第一数据的变化频率高于第二数据的变化频率。

其中，联动变化可理解为同时变化。通过将联动变化数据存储至同一表格中，提高数据查询的速度与表格的可读性。通过采用不同的策略存储第二数据中的联动变化数据与非联动变化数据，在保证数据存储稳定性的同时，提高表格中数据查询的速度与可读性。

在一个实施例中，采用三范式模型存储所述第一数据与所述第二数据，采用维度模型存储所述第二数据中的非联动数据，将所述第二数据中的联动数据以及所述非联动数据中与设定维度对应的第三数据存储于同一表格。

设定维度为符合设定频率条件的属性维度，比如本金、利息、利率等。其中，设定频率条件为频率下限值。如果非联动数据中包括使用频率大于该频率下限值的数据，则将该数据作为与设定维度对应的第三数据。该实施例通过设定频率条件从第二数据中筛选出常用字段的数据，并采用维度模型存储该常用字段的数据，以提高数据查询速度。

由于第一数据与第二数据的合集为待入仓数据，因此采用三范式模型存储第一数据与第二数据，相当于采用三范式模型保留了所有数据。

本实施例中，采用三范式模型存储第一数据与第二数据存储了所有的数据，又在同一表格中存储了第二数据中的联动数据与第二数据中与设定维度对应的第三数据。实现了通过冗余存储的方式提高数据存储的安全性、数据查询速度与表格的可读性。

S220、对第一数据与所述第二数据进行通用数据处理操作以得到第一结果与第二结果。

S230、根据数据使用场景从第一结果和/或第二结果中获取目标数据，并对目标数据执行与数据使用场景对应的数据处理操作，得到目标数据。

本发明实施例采用三范式模型存储第一数据与第二数据存储了所有的数据，又采用维度模型存储第二数据中与设定维度对应的第三数据。通过冗余存储提高数据存储的安全性、数据查询速度与表格的可读性。

图3为本发明实施例提供的数据处理装置的结构示意图。如图3所示，该装置包括：

基础模块31，用于确定待入仓数据中与第一类型字段对应的第一数据以及与第二类型字段对应的第二数据，采用三范式模型存储所述第一数据，采用维度模型存储所述第二数据，所述第一数据的变化频率高于所述第二数据的变化频率；

通用模块32，用于对所述第一数据与所述第二数据进行通用数据处理操作以得到第一结果与第二结果；

服务模块33，用于根据数据使用场景从所述第一结果和/或第二结果中获取目标数据，并对所述目标数据执行与所述数据使用场景对应的数据处理操作，得到目标数据。

本实施例中的数据处理装置对应数据仓库宽表模型。基础模块对应宽表模型的基础层，通用模块对应宽表模型的通用层，服务模块对应宽表模型的服务层。

宽表通常是指将业务主题相关的指标、维度、属性关联在一起的一张数据库表。

基础模块存储有映射表，该映射表存储有字段映射关系。针对第一数据与第二数据的各字段，确定映射表中与当前字段对应的目标字段，将该当前字段对应的数据存储至宽表中该目标字段的对应位置。

基础模块用于完成第一数据和/或第二数据中的部分或全部数据的列转行、解析和取唯一操作。其中，基础模块基于设定取唯一规则完成在从至少两个来源系统获取到同一字段的至少两个不同数据的情况下，将该至少两个不同数据中的一个数据作为标准数据。

基础模块存储有标识文件，该标识文件存储有名称标识。示例性的，采用001表示本金，采用002表示利息，采用003表示还款期数等。

基础模块还设置有备用字段，在该备用字段被启动的时候，对该备用字段进行标准化命名处理，以使该字段具有标准化的命名。

基础模块还存储有增量策略、全量策略、物理删除策略与数据铺底策略，以应对不同场景的数据存储与处理情况。其中，物理删除策略用于检测所接收的待入仓数据是否存在缺失，即源系统在输出数据的过程中是否删除了部分待入仓数据。

通用模块可完成不同场景下的表格拼接操作，且拼接表(拼接结果)是完整的，拼接表中的各字段是完整的。

通用模块可对存储的第一数据和第二数据进行逻辑处理，处理过程遵循主维度位移与口径通用的原则。

通用模块可对第一数据和/或第二数据进行数据标准化处理、积数处理与折币种处理。

服务模块可完成场景目录中所有场景的数据处理操作，其中，场景目录包括宽表模型的至少两个业务场景。

服务模块可完成跨期指标的加工，以及针对各业务场景的个性化数据加工，采用相同维度的汇总孔径进行数据汇总。

在一个实施例中，该装置还包括公共模块，该公共模块中的公共数据处理策略适应于基础模块、通用模块与服务模块，其中，公共数据处理策略包括历史数据迁移策略与追数策略。历史数据迁移策略包括系统间历史数据迁移规则与不同数据表格间的历史数据迁移规则。由于数据迁移过程中仍有新的数据生成，因此需要数据迁移速度大于数据生成速度，追数策略用于限定每天所迁移数据的时间跨度或数据量。

该装置采用数据驱动与业务驱动双写结合，也就是自底向上与自顶向下的两种模式相结合，以保证数据存储的稳定性与数据查询的高速度。分层设置给宽表建设提供了标准化、规范化的指引。各分层的功能明确并量化，形成模型设计与工作的迭代闭环。

在一个实施例中，待入仓数据被按照主题划分为参与人、产品、合约、组织单元、事件、财务、渠道、资产、营销活动、通用参数。该装置按照业务划分为多个领域，比如，存款、客户资金、信贷、代理业务、投资理财、信用卡、支付结算等。

在一个实施例中，宽表模型包括的数据维度基于总线矩阵确定。具体地，分析各业务场景所用到的数据维度，根据各业务场景所用到的数据维度绘制总线矩阵，基于该总线矩阵确定宽表模型所包括的数据维度。

在一个实施例中，基础模块还用于：

如果所述第二数据中存在联动变化数据，则将联动变化数据存储至同一表格中，采用维度模型存储所述第二数据中的非联动变化数据。

在一个实施例中，基础模块具体用于：

采用三范式模型存储所述第一数据与所述第二数据；

采用维度模型存储所述第二数据中的非联动数据，将所述第二数据中的联动数据以及所述非联动数据中与设定维度对应的第三数据存储于同一表格。

在一个实施例中，基础模块还用于：

确定所述待入仓数据中的第三数据与第四数据，所述第四数据为所述第三数据的明细数据；

将所述第三数据存储于对应主表中，将所述第四数据存储于对应子表中，所述子表为所述主表的明细表。

在一个实施例中，基础模块还用于：

确定所述待入仓数据的来源系统标识，将所述来源系统标识添加至对应数据表的主键字段。

在一个实施例中，基础模块还用于：

如果所述第二数据包括符合设定冗余条件的维度属性，则将所述维度属性冗余到对应表格中。

在一个实施例中，服务模块具体用于：

响应于服务场景请求，调用与服务场景对应的数据模板，获取与所述服务场景对应的基础数据结果；

对所述基础数据结果执行与所述服务场景对应的数据处理操作，得到目标数据结果；

将所述目标数据结果添加至所述数据模板中以得到目标数据。

本发明实施例提供的数据处理方法的技术方案，由于第一数据的变化频率较高，因此采用三范式模型存储待入仓数据中与第一类型字段对应的第一数据，以准确完成第一数据的存储为主要目的；第二数据变化频率交底，对模型的存储速度的稳定性要求交底，因此采用维度模型存储待入仓数据中与第二类型字段对应的第二数据，以保证数据查询效率，很好地利用了不同模型的优点，兼顾了数据存储的稳定性、准确性与数据查询效率。

本发明实施例所提供的数据处理装置可执行本发明任意实施例所提供的数据处理方法，具备执行方法相应的功能模块和有益效果。

图4示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如数据处理方法。

在一些实施例中，数据处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的数据处理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

确定待入仓数据中与第一类型字段对应的第一数据以及与第二类型字段对应的第二数据，采用三范式模型存储所述第一数据，采用维度模型存储所述第二数据，所述第一数据的变化频率高于所述第二数据的变化频率；

对所述第一数据与所述第二数据进行通用数据处理操作以得到第一结果与第二结果；

根据数据使用场景从所述第一结果和/或第二结果中获取目标数据，并对所述目标数据执行与所述数据使用场景对应的数据处理操作，得到目标数据。

2.根据权利要求1所述的方法，其特征在于，采用维度模型存储所述第二数据的同时，包括：

如果所述第二数据中存在联动变化数据，则将联动变化数据存储至同一表格中，采用维度模型存储所述第二数据中的非联动变化数据。

3.根据权利要求2所述的方法，其特征在于，所述采用三范式模型存储所述第一数据，采用维度模型存储所述第二数据，包括

采用三范式模型存储所述第一数据与所述第二数据；

采用维度模型存储所述第二数据中的非联动数据，将所述第二数据中的联动数据以及所述非联动数据中与设定维度对应的第三数据存储于同一表格。

4.根据权利要求1所述的方法，其特征在于，所述采用三范式模型存储所述第一数据，采用维度模型存储所述第二数据的同时，还包括：

确定所述待入仓数据中的第三数据与第四数据，所述第四数据为所述第三数据的明细数据；

将所述第三数据存储于对应主表中，将所述第四数据存储于对应子表中，所述子表为所述主表的明细表。

5.根据权利要求1所述的方法，其特征在于，所述得到数据存储结果之前，还包括：

确定所述待入仓数据的来源系统标识，将所述来源系统标识添加至对应数据表的主键字段。

6.根据权利要求1所述的方法，其特征在于，采用维度模型存储所述第二数据，包括：

如果所述第二数据包括符合设定冗余条件的维度属性，则将所述维度属性冗余到对应表格中。

7.根据权利要求1所述的方法，其特征在于，所述根据数据使用场景从所述第一结果和/或第二结果中获取目标数据，并对所述目标数据执行与所述数据使用场景对应的数据处理操作，得到目标数据，包括：

响应于服务场景请求，调用与服务场景对应的数据模板，获取与所述服务场景对应的基础数据结果；

对所述基础数据结果执行与所述服务场景对应的数据处理操作，得到目标数据结果；

将所述目标数据结果添加至所述数据模板中以得到目标数据。

8.一种数据处理装置，其特征在于，包括：

基础模块，用于确定待入仓数据中与第一类型字段对应的第一数据以及与第二类型字段对应的第二数据，采用三范式模型存储所述第一数据，采用维度模型存储所述第二数据，所述第一数据的变化频率高于所述第二数据的变化频率；

通用模块，用于对所述第一数据与所述第二数据进行通用数据处理操作以得到第一结果与第二结果；

服务模块，用于根据数据使用场景从所述第一结果和/或第二结果中获取目标数据，并对所述目标数据执行与所述数据使用场景对应的数据处理操作，得到目标数据。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的数据处理方法。