CN108595685A - 一种数据处理方法及装置 - Google Patents

Abstract

本发明实施例提供的一种数据处理方法及装置，属于数据处理领域。该方法包括获取指标取值指令；获取所述指标取值指令所对应的标识信息；解析所述标识信息所对应的key集合；将所述key集合中当前时刻所对应的当前key存储在分布式缓存中以及历史时刻所对应的历史key集合存储在本地缓存中；从所述分布式缓存中获取所述当前key所对应的值以及从所述本地缓存中获取所述历史key集合中每个key所对应的值，并生成目标集合。以实现降低网络传输量的同时节省分布式缓存计算量的技术效果。

Description

一种数据处理方法及装置

技术领域

本发明涉及数据处理领域，具体而言，涉及一种数据处理方法及装置。

背景技术

目前在分布式实时风控系统的指标计算中，策略的规则有很多种存在形式。指标就是其中的一种，指标通常伴随着大量复杂的运算，而且被数据的数据是持续加入到指标中计算，并且持续的时间不定，有些只持续短短几秒钟，而有些需要几个月，甚至更长。而目前为了防止黑产恶意行为，通常是将指标的持续时间划分为一片一片的时间片，但随之而来的是一片一片的时间片管理问题，分布式风控系统需要实时为业务系统鉴别请求风险，对效率和响应要求非常严格，从而业类通常把所有的时间片以及对应的数据存放在分布式缓存中，然而会造成指标服务器的网络传输量大，以及每次处理key需要极大的CPU消耗，且易导致网络拥塞，造成响应延时较高。因此，如何解决上述技术问题是目前亟需解决的技术难题。

发明内容

本发明提供的一种数据处理方法及装置，旨在改善上述问题。

本发明提供的一种数据处理方法，包括：获取指标取值指令；获取所述指标取值指令所对应的标识信息；解析所述标识信息所对应的key集合；将所述key集合中当前时刻所对应的当前key存储在分布式缓存中以及历史时刻所对应的历史key集合存储在本地缓存中；从所述分布式缓存中获取所述当前key所对应的值以及从所述本地缓存中获取所述历史key集合中每个key所对应的值，并生成目标集合。

可选地，所述的将所述key集合中当前时刻所对应的当前key存储在分布式缓存中以及历史时刻所对应的历史key集合存储在本地缓存中，包括：将所述key集合基于预设时间节点划分为多个分片，每个所述分片对应一个key；将当前时刻所对应的分片作为当前key，并存储在分布式缓存中；将除所述当前时刻所对应的当前key以外的其他所述分片生成历史key集合，并存储在本地一级缓存中。

可选地，所述的解析所述标识信息所对应的key集合，包括：根据所述标识信息所对应的当前指标配置信息获取所述key集合。

可选地，所述的从所述分布式缓存中获取所述当前key所对应的值以及从所述本地缓存中获取所述历史key集合中每个key所对应的值，并生成目标集合，包括：从所述分布式缓存中获取所述当前key；获取所述当前key所对应的值；从所述本地缓存中获取所述历史key集合中每个key；获取每个所述key所对应的值；基于所述当前key所对应的值与每个所述key所对应的值生成目标集合。

可选地，所述的从所述分布式缓存中获取所述当前key所对应的值以及从所述本地缓存中获取所述历史key集合中每个key所对应的值，并生成目标集合，之后还包括：基于所述目标集合生成所述指标取值指令所对应的指标计算结果。

本发明提供的一种数据处理装置，包括：第一获取单元，用于获取指标取值指令；第二获取单元，用于获取所述指标取值指令所对应的标识信息；第一数据处理单元，用于解析所述标识信息所对应的key集合；第二数据处理单元，用于将所述key集合中当前时刻所对应的当前key存储在分布式缓存中以及历史时刻所对应的历史key集合存储在本地缓存中；数据生成单元，用于从所述分布式缓存中获取所述当前key所对应的值以及从所述本地缓存中获取所述历史key集合中每个key所对应的值，并生成目标集合。

可选地，所述第二数据处理单元具体用于：将所述key集合基于预设时间节点划分为多个分片，每个所述分片对应一个key；将当前时刻所对应的分片作为当前key，并存储在分布式缓存中；将除所述当前时刻所对应的当前key以外的其他所述分片生成历史key集合，并存储在本地一级缓存中。

可选地，所述第一数据处理单元具体用于：根据所述标识信息所对应的当前指标配置信息获取所述key集合。

可选地，所述数据生成单元具体用于：从所述分布式缓存中获取所述当前key；获取所述当前key所对应的值；从所述本地缓存中获取所述历史key集合中每个key；获取每个所述key所对应的值；基于所述当前key所对应的值与每个所述key所对应的值生成目标集合。

可选地，所述数据生成单元之后，还包括：数据计算单元，用于基于所述目标集合生成所述指标取值指令所对应的指标计算结果。

上述本发明提供的一种数据处理方法及装置，通过先获取指标取值指令；再获取所述指标取值指令所对应的标识信息；然后解析所述标识信息所对应的key集合；接着将所述key集合中当前时刻所对应的当前key存储在分布式缓存中以及历史时刻所对应的历史key集合存储在本地缓存中；最后从所述分布式缓存中获取所述当前key所对应的值以及从所述本地缓存中获取所述历史key集合中每个key所对应的值，并生成目标集合。从而通过将当前key存储在分布式缓存中以及历史时刻所对应的历史key集合存储在本地缓存中，则在计算每个key所对应的值时可以有效减少分布式缓存的计算量，并且通过历史时间与当前时间进行分离的方式进行存储，可以有效减少key和key所对应的值(value)在网络中来回传输，有效减少了网络传输量，以至于降低了网络传输压力，以及有效降低了CPU的消耗。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种电子设备的结构框图；

图2为本发明第一实施例提供的数据处理方法的流程图；

图3为本发明第二实施例提供的数据处理方法的流程图；

图4为本发明第三实施例提供的数据处理装置的功能模块示意图；

图5为本发明第四实施例提供的数据处理装置的功能模块示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明实施例提供的一种电子设备的结构框图。所述电子设备300包括数据处理装置、存储器302、存储控制器303、处理器304及外设接口305。

所述存储器302、存储控制器303、处理器304及外设接口305各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述数据处理装置包括至少一个可以软件或固件(firmware)的形式存储于所述存储器302中或固化在所述电子设备300的操作系统(operating system，OS)中的软件功能模块。所述处理器304用于执行存储器302中存储的可执行模块，例如所述数据处理装置包括的软件功能模块或计算机程序。

其中，存储器302可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。其中，存储器302用于存储程序，所述处理器304在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的服务器100所执行的方法可以应用于处理器304中，或者由处理器304实现。

处理器304可能是一种集成电路芯片，具有信号的处理能力。上述的处理器304可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述外设接口305将各种输入/输入装置耦合至处理器304以及存储器302。在一些实施例中，外设接口305、处理器304以及存储控制器303可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

请参阅图2，是本发明第一实施例提供的数据处理方法的流程图。下面将对图2所示的具体流程进行详细阐述。

步骤S101，获取指标取值指令。

其中，所述指标取值指令为分布式实时风控系统所发出的。

其中，所述指标取值指令携带有唯一标识信息，如标识信息可以是ID，如ID可以是字符串，也可以是字符。

步骤S102，获取所述指标取值指令所对应的标识信息。

步骤S103，解析所述标识信息所对应的key集合。

其中，每个指标均对应有一个key集合。

作为一种实施方式，根据所述标识信息所对应的当前指标配置信息获取所述key集合。如，获取数据库中与所述标识信息所对应的当前指标配置信息，从而根据预设规则计算出所述key集合。例如，指标a，在数据库中的配置是1天有效期，时间窗口为1小时，那么key计算出来是，昨天的这个时刻，到今天的这个时刻，按照每小时1个分片的规则生成key集合。

步骤S104，将所述key集合中当前时刻所对应的当前key存储在分布式缓存中以及历史时刻所对应的历史key集合存储在本地缓存中。

作为一种实施方式，将所述key集合基于预设时间节点划分为多个分片，每个所述分片对应一个key；将当前时刻所对应的分片作为当前key，并存储在分布式缓存中；将除所述当前时刻所对应的当前key以外的其他所述分片生成历史key集合，并存储在本地一级缓存中。

例如，以一天为例，将指标所对应的key集合划分为24片，即将指标计算的时间划分为24小时，每小时对应一个key。当当前时刻为23点时，则0点至22点之间的时刻即为历史时刻，则该历史时刻中所对应的key有23个，形成一个集合，即为上述的历史key集合，而当前时刻所对应的key即为当前key，通过将当前key存储在分布式缓存中以及历史时刻所对应的历史key集合存储在本地缓存中，则在计算每个key所对应的值时可以有效减少分布式缓存的计算量，并且通过历史时间与当前时间进行分离的方式进行存储，可以有效减少key和key所对应的值(value)在网络中来回传输，有效减少了网络传输量，以至于降低了网络传输压力，以及有效降低了CPU的消耗。

其中，在本实施例中，如果在单机部署时，可以不用分布式缓存，直接用本地缓存，则不需要网络传输，如果是分布式部署时，忽略高可用，直接用本地缓存，不需要网络传输。

步骤S105，从所述分布式缓存中获取所述当前key所对应的值以及从所述本地缓存中获取所述历史key集合中每个key所对应的值，并生成目标集合。

作为一种实施方式，从所述分布式缓存中获取所述当前key；获取所述当前key所对应的值；从所述本地缓存中获取所述历史key集合中每个key；获取每个所述key所对应的值；基于所述当前key所对应的值与每个所述key所对应的值生成目标集合。

其中，所述key集合中的每个key均对应有一个值(value)。所述目标集合即为所述key集合中的每个所述key所对应的value所组成。

请参阅图3，是本发明第二实施例提供的数据处理方法的流程图。下面将对图3所示的具体流程进行详细阐述。

步骤S201，获取指标取值指令。

步骤S202，获取所述指标取值指令所对应的标识信息。

步骤S203，解析所述标识信息所对应的key集合。

步骤S204，将所述key集合中当前时刻所对应的当前key存储在分布式缓存中以及历史时刻所对应的历史key集合存储在本地缓存中。

步骤S205，从所述分布式缓存中获取所述当前key所对应的值以及从所述本地缓存中获取所述历史key集合中每个key所对应的值，并生成目标集合。

步骤S201至步骤S205的具体实施方式请参照第一实施例中所对应的步骤，在此，不再赘述。

步骤S206，基于所述目标集合生成所述指标取值指令所对应的指标计算结果。

作为一种实施方式，基于预设规则对所述目标集合中的元素进行计算，以获取所述指标取值指令所对应的指标计算结果。例如，当所述预设规则为求和运算时，对该目标集合中的元素进行求和，所求得的和即为该指标取值指令所对应的指标计算结果。例如，目标集合为[1，2，3，4，5，10]时，求和得到的结果为25，则25即为指标计算结果。例如，该预设规则还可以是求积运算。在此，不作具体限定。

请参阅图4，是本发明第三实施例提供的数据处理装置的功能模块示意图。所述数据处理装置400包括第一获取单元410、第二获取单元420、第一数据处理单元430、第二数据处理单元440和数据生成单元450。

第一获取单元410，用于获取指标取值指令。

第二获取单元420，用于获取所述指标取值指令所对应的标识信息。

作为一种实施方式，所述第二数据处理单元420具体用于：将所述key集合基于预设时间节点划分为多个分片，每个所述分片对应一个key；将当前时刻所对应的分片作为当前key，并存储在分布式缓存中；将除所述当前时刻所对应的当前key以外的其他所述分片生成历史key集合，并存储在本地一级缓存中。

第一数据处理单元430，用于解析所述标识信息所对应的key集合。

作为一种实施方式，所述第一数据处理单元430具体用于：根据所述标识信息所对应的当前指标配置信息获取所述key集合。

第二数据处理单元440，用于将所述key集合中当前时刻所对应的当前key存储在分布式缓存中以及历史时刻所对应的历史key集合存储在本地缓存中。

数据生成单元450，用于从所述分布式缓存中获取所述当前key所对应的值以及从所述本地缓存中获取所述历史key集合中每个key所对应的值，并生成目标集合。

作为一种实施方式，所述数据生成单元450具体用于：从所述分布式缓存中获取所述当前key；获取所述当前key所对应的值；从所述本地缓存中获取所述历史key集合中每个key；获取每个所述key所对应的值；基于所述当前key所对应的值与每个所述key所对应的值生成目标集合。

请参阅图5，是本发明第四实施例提供的数据处理装置的功能模块示意图。所述数据处理装置500包括第一获取单元510、第二获取单元520、第一数据处理单元530、第二数据处理单元540、数据生成单元550和数据计算单元560。

第一获取单元510，用于获取指标取值指令。

第二获取单元520，用于获取所述指标取值指令所对应的标识信息。

作为一种实施方式，所述第二数据处理单元520具体用于：将所述key集合基于预设时间节点划分为多个分片，每个所述分片对应一个key；将当前时刻所对应的分片作为当前key，并存储在分布式缓存中；将除所述当前时刻所对应的当前key以外的其他所述分片生成历史key集合，并存储在本地一级缓存中。

第一数据处理单元530，用于解析所述标识信息所对应的key集合。

作为一种实施方式，所述第一数据处理单元530具体用于：根据所述标识信息所对应的当前指标配置信息获取所述key集合。

第二数据处理单元540，用于将所述key集合中当前时刻所对应的当前key存储在分布式缓存中以及历史时刻所对应的历史key集合存储在本地缓存中。

数据生成单元550，用于从所述分布式缓存中获取所述当前key所对应的值以及从所述本地缓存中获取所述历史key集合中每个key所对应的值，并生成目标集合。

作为一种实施方式，所述数据生成单元550具体用于：从所述分布式缓存中获取所述当前key；获取所述当前key所对应的值；从所述本地缓存中获取所述历史key集合中每个key；获取每个所述key所对应的值；基于所述当前key所对应的值与每个所述key所对应的值生成目标集合。

数据计算单元560，用于基于所述目标集合生成所述指标取值指令所对应的指标计算结果。

综上所述，本发明提供的一种数据处理方法及装置，通过先获取指标取值指令；再获取所述指标取值指令所对应的标识信息；然后解析所述标识信息所对应的key集合；接着将所述key集合中当前时刻所对应的当前key存储在分布式缓存中以及历史时刻所对应的历史key集合存储在本地缓存中；最后从所述分布式缓存中获取所述当前key所对应的值以及从所述本地缓存中获取所述历史key集合中每个key所对应的值，并生成目标集合。从而通过将当前key存储在分布式缓存中以及历史时刻所对应的历史key集合存储在本地缓存中，则在计算每个key所对应的值时可以有效减少分布式缓存的计算量，并且通过历史时间与当前时间进行分离的方式进行存储，可以有效减少key和key所对应的值(value)在网络中来回传输，有效减少了网络传输量，以至于降低了网络传输压力，以及有效降低了CPU的消耗。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read－Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

获取指标取值指令；

获取所述指标取值指令所对应的标识信息；

解析所述标识信息所对应的key集合；

将所述key集合中当前时刻所对应的当前key存储在分布式缓存中以及历史时刻所对应的历史key集合存储在本地缓存中；

从所述分布式缓存中获取所述当前key所对应的值以及从所述本地缓存中获取所述历史key集合中每个key所对应的值，并生成目标集合。

2.根据权利要求1所述的方法，其特征在于，所述的将所述key集合中当前时刻所对应的当前key存储在分布式缓存中以及历史时刻所对应的历史key集合存储在本地缓存中，包括：

将所述key集合基于预设时间节点划分为多个分片，每个所述分片对应一个key；

将当前时刻所对应的分片作为当前key，并存储在分布式缓存中；

将除所述当前时刻所对应的当前key以外的其他所述分片生成历史key集合，并存储在本地一级缓存中。

3.根据权利要求1所述的方法，其特征在于，所述的解析所述标识信息所对应的key集合，包括：

根据所述标识信息所对应的当前指标配置信息获取所述key集合。

4.根据权利要求1所述的方法，其特征在于，所述的从所述分布式缓存中获取所述当前key所对应的值以及从所述本地缓存中获取所述历史key集合中每个key所对应的值，并生成目标集合，包括：

从所述分布式缓存中获取所述当前key；

获取所述当前key所对应的值；

从所述本地缓存中获取所述历史key集合中每个key；

获取每个所述key所对应的值；

基于所述当前key所对应的值与每个所述key所对应的值生成目标集合。

5.根据权利要求1所述的方法，其特征在于，所述的从所述分布式缓存中获取所述当前key所对应的值以及从所述本地缓存中获取所述历史key集合中每个key所对应的值，并生成目标集合，之后还包括：

基于所述目标集合生成所述指标取值指令所对应的指标计算结果。

6.一种数据处理装置，其特征在于，包括：

第一获取单元，用于获取指标取值指令；

第二获取单元，用于获取所述指标取值指令所对应的标识信息；

第一数据处理单元，用于解析所述标识信息所对应的key集合；

第二数据处理单元，用于将所述key集合中当前时刻所对应的当前key存储在分布式缓存中以及历史时刻所对应的历史key集合存储在本地缓存中；

数据生成单元，用于从所述分布式缓存中获取所述当前key所对应的值以及从所述本地缓存中获取所述历史key集合中每个key所对应的值，并生成目标集合。

7.根据权利要求6所述的装置，其特征在于，所述第二数据处理单元具体用于：

将所述key集合基于预设时间节点划分为多个分片，每个所述分片对应一个key；

将当前时刻所对应的分片作为当前key，并存储在分布式缓存中；

将除所述当前时刻所对应的当前key以外的其他所述分片生成历史key集合，并存储在本地一级缓存中。

8.根据权利要求6所述的装置，其特征在于，所述第一数据处理单元具体用于：

根据所述标识信息所对应的当前指标配置信息获取所述key集合。

9.根据权利要求6所述的装置，其特征在于，所述数据生成单元具体用于：

从所述分布式缓存中获取所述当前key；

获取所述当前key所对应的值；

从所述本地缓存中获取所述历史key集合中每个key；

获取每个所述key所对应的值；

基于所述当前key所对应的值与每个所述key所对应的值生成目标集合。

10.根据权利要求6所述的装置，其特征在于，所述数据生成单元之后，还包括：

数据计算单元，用于基于所述目标集合生成所述指标取值指令所对应的指标计算结果。