CN114297318A

CN114297318A - 数据处理方法及装置

Info

Publication number: CN114297318A
Application number: CN202111530769.0A
Authority: CN
Inventors: 胡迪; 程明磊; 吴晓双; 李文君; 陈双; 王超
Original assignee: China Payment & Clearing Network Co ltd Cpcn
Current assignee: China Payment & Clearing Network Co ltd Cpcn
Priority date: 2021-12-14
Filing date: 2021-12-14
Publication date: 2022-04-08

Abstract

本发明提供一种数据处理方法及装置。该方法包括：根据目标数据索引，确定目标数据最后一次更新的存储位置；基于所述存储位置，确定所述目标数据的中间变量数据；其中，所述中间变量数据用于指示所述目标数据中产生更新的数据。本发明提供的数据处理方法及装置，可以减少数据存储冗余，并可以减少数据处理时的资源占用。

Description

数据处理方法及装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法及装置。

背景技术

通常情况下，为了保证数据服务的实时性，数据仓库通常使用数据冗余方案预汇总数据，导致对数据存储空间的占用极高，一般在T以上的量级。在一般数据处理场景中，该存储方式的冗余度高达90％以上，进而会影响数据处理效率。

其次，在此场景下，每对服务器每进行一次数据处理请求，都需要对全量数据运算，会对服务器造成很大的压力，且占用了服务器额外资源，影响其工作效率和性能。

发明内容

本发明提供一种数据处理方法及装置，用以解决现有技术中数据存储冗余度高以及数据处理占用资源大的技术问题。

本发明提供一种数据处理方法，包括：

根据目标数据索引，确定目标数据最后一次更新的存储位置；

基于所述存储位置，确定所述目标数据的中间变量数据；

其中，所述中间变量数据用于指示所述目标数据中产生更新的数据。

在一个实施例中，所述根据目标数据索引，确定目标数据最后一次更新的存储位置，包括：

根据所述目标数据的数据快照以及所述目标数据索引，确定所述目标数据最后一次更新的数据快照；

基于所述目标数据最后一次更新的数据快照，确定所述存储位置。

在一个实施例中，在所述根据目标数据索引，确定目标数据最后一次更新的存储位置之前，还包括：

根据增量数据，更新所述目标数据索引；

基于更新后的目标数据索引，更新所述目标数据的中间变量数据。

在一个实施例中，在所述确定所述目标数据的中间变量数据之后，还包括：

根据所述中间变量数据，确定所述中间变量数据的统计指标；

将所述统计指标的计算结果确定为所述中间变量数据的处理结果。

在一个实施例中，所述中间变量数据包括以下至少一项：

数据累计计数、数据累计求和、数据累计计数的平方和、数据累计计数的立方和、数据最大值、数据最小值、数据的分组类型和分组计数的键值对。

本发明还提供一种数据处理装置，包括：

第一确定模块，用于根据目标数据索引，确定目标数据最后一次更新的存储位置；

第二确定模块，用于基于所述存储位置，确定所述目标数据的中间变量数据；

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述数据处理方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数据处理方法的步骤。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述数据处理方法的步骤。

本发明提供的数据处理方法及装置，通过根据目标数据索引，确定目标数据最后一次更新的存储位置，以采用占用存储空间较小的目标数据索引反应数据更新情况，从而可以实现对目标数据的重新定位，确定目标数据最后一次更新的实际存储位置；还基于存储位置，确定目标数据的中间变量数据，无需再对全量数据进行运算更新，而是直接获取更新部分的数据，减少了数据处理时的资源占用。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的数据处理方法的流程示意图；

图2是应用本发明提供的数据处理方法的数据索引示意图；

图3是应用本发明提供的数据处理方法的数据存储示意图之一；

图4是应用本发明提供的数据处理方法的数据存储示意图之二；

图5是本发明提供的数据处理装置的结构示意图；

图6是本发明提供的电子设备的实体结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明提供的数据处理方法的流程示意图。参照图1，本发明提供的数据处理方法包括：步骤110和步骤120。

步骤110、根据目标数据索引，确定目标数据最后一次更新的存储位置；

步骤120、基于所述存储位置，确定所述目标数据的中间变量数据；

本发明提供的数据处理方法的执行主体可以是电子设备、电子设备中的部件、集成电路、或芯片。该电子设备可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)等，本发明不作具体限定。

下面以服务器执行本发明提供的数据处理方法为例，详细说明本发明的技术方案。

在一个实施例中，在步骤110之前，该数据处理方法还包括：

步骤100、根据增量数据，更新所述目标数据索引；

可选地，服务器在将数据写入数据仓库时，可以实时创建数据索引，每个数据索引与每个数据对象一一对应。服务器可以按照预设周期获取当前周期的增量数据。

其中，预设周期可以根据实际需求设定，例如可以是一天、一周、或者可以小于一天等，本发明对此不作限定。增量数据指的是数据仓库以某个时间点为基准，在此时间点之后，对数据仓库中的数据进行增加、修改和删除所产生的数据都属于增量数据。

需要说明的是，数据索引不仅可以用于指示数据是否更新，还可以用于数据重定位。为了最大程度减少数据索引所占的内存空间，可以将数据索引设置为“0”或“1”来表示数据是否更新。“0”可以表示当前增量数据不存在更新，“1”可以表示当前增量数据存在更新。还可以采用表征数据更新的其他方式进行索引标记，本发明对此不作具体限定。例如：可以采用最大时间戳对数据仓库中的增量数据进行数据更新时间的记录，最大时间戳可以随数据的变化而更新。

可选地，根据增量数据，可以确定数据仓库中的目标数据已产生更新，则可以更新目标数据对应的目标数据索引，以表示目标数据已更新。根据目标数据索引，可以快速定位产生更新的数据，进一步可以直接更新目标数据的中间变量数据。其中，中间变量数据是基于增量数据获取的可以用于运算的数据，可以用于指示目标数据中产生更新的数据。

本发明提供的数据处理方法，通过目标数据索引确定目标数据的中间变量数据，可以快速确定全量数据中更新的数据范围，从而可以提高数据处理效率。

可选地，在步骤110中，确定需要处理的目标数据，并确定目标数据的目标数据索引。由于目标数据索引可以反映数据的变化情况，则可以根据数据变化情况，追溯目标数据在预设周期内的更新情况，以及可以确定目标数据最后一次更新的存储位置，以实现在重新确定数据存储位置之后进行数据处理，例如包括：查询数据等。

例如：根据目标数据索引，可以反应目标数据的变化情况为：1月1日更新、1月2日更新、1月3日未更新、1月4日未更新、1月5日更新。现在需要查询1月4日的数据，则可以根据目标数据索引，确定1月4日之前的最新数据为1月2日的数据。即有1月2日的数据存储位置为1月4日之前最后一次更新的存储位置。

可选地，在步骤120中，确定目标数据最后一次更新的存储位置后，可以直接确定目标数据的中间变量数据。其中，中间变量数据用于指示目标数据中产生更新的数据。

本发明提供的数据处理方法，通过根据目标数据索引，确定目标数据最后一次更新的存储位置，以采用占用存储空间较小的目标数据索引反应数据更新情况，从而可以实现对目标数据的重新定位，确定目标数据最后一次更新的实际存储位置；还基于存储位置，确定目标数据的中间变量数据，无需再对全量数据进行运算更新，而是直接获取更新部分的数据，减少了数据处理时的资源占用。

在一个实施例中，所述中间变量数据包括以下至少一项：

可选地，中间变量数据可以用于表征每个数据对象在不同时间节点的数据特征。例如包括：历史时间节点和当前时间节点。中间变量数据具体可以包括如下数据特征类型：

数据累计计数、数据累计求和、数据累计二次求和、数据累计三次求和、数据最大值、数据最小值、数据的分组类型和分组计数的键值对。

需要说明的是，数据累计计数为数据累计个数，例如：一组样本数据为a₁、a₂、a₃、…、a_n，则数据累计计数为n,数据累计求和为a₁+a₂+a₃+…+a_n；数据累计二次求和是数据累计计数的平方和；数据累计三次求和是数据累计计数的立方和。数据的分组类型和分组计数的键值对是指基于目标属性对数据进行分组和计数，建立的数据分组类型和分组计数的映射关系。

本发明提供的数据处理方法，通过用中间变量数据表征目标数据中产生更新的数据对应的数据特征，可以将数据更新时的全量数据的运算转换为中间量的计算，大幅减少了数据处理的时间和资源占用。

可选地，对于不同时间节点的数据进行快照，获取该数据对应的数据快照。基于数据快照，可以获取用于存储该数据快照的存储位置信息，以及用于存储该数据快照的存储介质的路径信息。根据存储位置信息和路径信息，存储数据快照。

可选地，根据目标数据对应的数据快照，以及目标数据索引，可以确定数据更新情况。如图2所示，现存储有用户A、用户B、用户C和用户D的数据，并存储有5个时间节点的数据快照，每个数据快照包含有各用户当前快照时间节点下的数据索引。数据索引“0”表示该快照数据不存在更新，数据索引“1”该快照数据存在更新。则可以得出用户数据更新情况如下：

用户A：快照1数据有更新、快照2数据无更新、快照3数据无更新、快照4数据无更新、快照5数据有更新。

用户B：快照1数据有更新、快照2数据无更新、快照3数据有更新、快照4数据有更新、快照5数据无更新。

用户C：快照1数据有更新、快照2数据有更新、快照3数据无更新、快照4数据无更新、快照5数据有更新。

用户D：快照1数据有更新、快照2数据无更新、快照3数据无更新、快照4数据有更新、快照5数据有更新。

由此可知，通过结合目标数据索引和数据快照，可以获取用户数据在每个快照的数据变化情况，以及重新定位至需要进行数据处理的数据存储位置。例如：用户C对快照4进行数据查询，快照4对应的数据索引显示当前快照数据无更新，并且可以确定快照4之前的最新数据为快照2对应的数据，则可以重新定位至快照2对应的存储位置进行数据查询。

在现有技术中，不管是否数据更新，每进行一次数据快照，均会进行数据存储。如图3所示，图3中实线框表示每次进行数据快照均会进行数据存储，因此会产生极高的数据冗余。如图4所示，图4中的实线框表示此快照下已进行数据更新存储和数据索引更新，虚线框表示此快照下仅进行数据索引更新，不再进行数据存储。在本方案中，通过数据索引可以反应数据的变化情况，且仅在数据更新时进行数据存储，在数据没有更新时不再进行数据存储，因此可以大幅减少数据占用内存空间。

本发明提供的数据处理方法，通过目标数据索引和数据快照，可以实现数据重新定位，大幅减少了数据存储的冗余，进而提高数据处理效率。

可选地，可以根据中间变量数据，确定中间变量数据的统计指标。其中，统计指标可以包括：数据均值、样本标准差、标准差、偏态量等。统计指标的计算结果可以包括：窗口时间计数、窗口时间合计、窗口时间均值、窗口时间样本标准差、窗口时间标准差、窗口时间偏态、窗口时间去重计数等。

例如：对中间变量数据做如下处理：将数据累计计数记为S₀、将数据累计计数的平方和记为S₁、将数据累计计数的立方和记为S₂、将数据最大值记为min、将数据最小值记为max、数据的分组类型和分组计数的键值对记为kv。则最终统计指标的输出如下：

窗口时间计数：取出窗口前一天的S₀和窗口最后一天的S₀计算差值，记为D₀并输出。

窗口时间合计：取出窗口前一天的S₁和窗口最后一天的S₁计算差值，记为D₁并输出。

窗口时间均值：输出D₁/D₀。

窗口时间样本标准差：取出窗口前一天的S₂和窗口最后一天的S₂计算差值，记为D₂，输出[(D₂-D₁ ²/D0)/(D₀-1)]^0.5。

窗口时间标准差：输出[(D₂-D₁ ²/D₀)/D₀]^0.5。

窗口时间偏态：取出窗口前一天的S₃和窗口最后一天的S₃计算差值，记为D₃，输出(D₃-3*D₂*D₁/D₀+2*D₁ ³/D₀ ²)*D₀ ^0.5/(D₂-D₁ ²/D₀)^1.5。

窗口时间去重计数：取出窗口前一天的kv和窗口最后一天的kv计算所有键值差值，移除值为零的键，输出结果的键个数。

可选地，根据统计指标的计算结果，可以对发生变化的统计指标对应的中间变量数据进行更新。对于统计指标，通过解构其计算方法，从而转化为以增量方式可以运算的中间变量数据。使得统计指标的计算不再需要加载全量历史数据，而由上期统计数据和增量数据处理即可获得。

本发明提供的数据处理方法，通过获取统计指标的计算结果，大幅减少了数据处理的时间和资源占用。

在一个实施例中，与现有技术相比，本发明提出的技术方案中通过创建数据变更索引，仅用了较小的存储空间来记录数据的变化情况，避免了更新全量数据时需要存储所有统计指标的最新数据。在实际执行中，以典型业务场景为例，每次数据发生变化的数据范围仅占全部数据的8％，按照新的方案，存储空间的占用率降低了超过90％。对于数据处理过程，通过将全量历史数据的处理转化为增量数据的处理，计算所需的增量数据量仅为全量数据的千分之一，大幅减少了系统资源的占用，数据处理资源占用仅为原来的3％以下，而数据处理用时降低为原来的5％。

本发明通过数据更新索引来管理统计数据的变化情况，仅对发生变化的统计指标中间变量进行更新，在数据查询时通过索引定位数据，在对查询效率影响较小的前提下大幅减少了数据存储的冗余；同时将常用的统计指标转化为支持流式计算的中间变量，实现了常见统计指标的流式计算框架，大幅降低了数据的预处理时间。

可选地，产生增量数据时，一般只对极少对象的统计指标需要进行更新。针对这种情况，通过合理的创建索引，使得处理增量数据后不再对全量数据进行运算更新，而是仅对变化数据进行更新，大幅减少了汇总统计数据的存储空间。

下面对本发明提供的数据处理装置进行描述，下文描述的数据处理装置与上文描述的数据处理方法可相互对应参照。

图5是本发明提供的数据处理装置的结构示意图。如图5所示，该装置包括：第一确定模块510和第二确定模块520。

第一确定模块510，用于根据目标数据索引，确定目标数据最后一次更新的存储位置；

第二确定模块520，用于基于所述存储位置，确定所述目标数据的中间变量数据；

本发明提供的数据处理装置，通过根据目标数据索引，确定目标数据最后一次更新的存储位置，以采用占用存储空间较小的目标数据索引反应数据更新情况，从而可以实现对目标数据的重新定位，确定目标数据最后一次更新的实际存储位置；还基于存储位置，确定目标数据的中间变量数据，无需再对全量数据进行运算更新，而是直接获取更新部分的数据，减少了数据处理时的资源占用。

在一个实施例中，所述第一确定模块510，具体用于：

在一个实施例中，所述装置还包括：

更新模块(图中未示出)，用于根据增量数据，更新所述目标数据索引；

在一个实施例中，所述装置还包括：

第三确定模块(图中未示出)，用于根据所述中间变量数据，确定所述中间变量数据的统计指标；

在一个实施例中，所述中间变量数据包括以下至少一项：

图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行数据处理方法，该方法包括：

基于所述存储位置，确定所述目标数据的中间变量数据；

此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的数据处理方法，该方法包括：

基于所述存储位置，确定所述目标数据的中间变量数据；

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的数据处理方法，该方法包括：

基于所述存储位置，确定所述目标数据的中间变量数据；

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种数据处理方法，其特征在于，包括：

基于所述存储位置，确定所述目标数据的中间变量数据；

2.根据权利要求1所述的数据处理方法，其特征在于，所述根据目标数据索引，确定目标数据最后一次更新的存储位置，包括：

3.根据权利要求1所述的数据处理方法，其特征在于，在所述根据目标数据索引，确定目标数据最后一次更新的存储位置之前，还包括：

根据增量数据，更新所述目标数据索引；

4.根据权利要求1所述的数据处理方法，其特征在于，在所述确定所述目标数据的中间变量数据之后，还包括：

5.根据权利要求1-4任一项所述的数据处理方法，其特征在于，所述中间变量数据包括以下至少一项：

6.一种数据处理装置，其特征在于，包括：

7.根据权利要求6所述的数据处理装置，其特征在于，所述第一确定模块，具体用于：

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述数据处理方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述数据处理方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述数据处理方法的步骤。