CN111427883A - 基于AeroSpike的数据处理方法、装置、计算机设备及存储介质 - Google Patents
基于AeroSpike的数据处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111427883A CN111427883A CN202010099241.1A CN202010099241A CN111427883A CN 111427883 A CN111427883 A CN 111427883A CN 202010099241 A CN202010099241 A CN 202010099241A CN 111427883 A CN111427883 A CN 111427883A
- Authority
- CN
- China
- Prior art keywords
- index
- data
- historical data
- risk
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 77
- 238000012502 risk assessment Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000013500 data storage Methods 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2264—Multidimensional index structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种基于AeroSpike的数据处理方法、装置、计算机设备及存储介质。所述方法包括：从预设数据库中获取待分析的历史数据；将所述历史数据存储到AeroSpike数据库中并根据预设的风险规则对所述历史数据配置第一索引和失效时间；若接收到数据存储请求，将当前数据存储到AeroSpike数据库中并根据所述预设的风险规则对所述当前数据配置第二索引和失效时间；若接收到风险分析处理请求，根据所述第一索引和所述第二索引以预设方式对所述历史数据和所述当前数据进行风险分析处理，其中，所述第一索引和所述第二索引的类型包括主键索引和二级索引。本发明应用于数据存储领域。通过实施本发明实施例的方法可动态化配置索引，提高数据库性能、提高查询速度。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于AeroSpike的数据处理方法、装置、计算机设备及存储介质。
背景技术
随着信息与科技的进步，数据量呈爆发式的增长，每日需要处理的数据量级越来越大。譬如，在当前的业务场景下，现有的反欺诈系统通过机器学习对各类用户行为数据进行分析，为了快速识别欺诈风险，实现全场景、全流程欺诈检测和判定，现有的反欺诈系统通常在规则引擎中会预先配置一系列反欺诈和信用风险规则。而很多规则的相关计算往往需要调用历史数据，然而，如今的业务量急剧增长，历史数据往往规模庞大，大数据下的读写给数据库带来巨大的压力，会使数据库性能触及瓶颈。目前，存在以下解决方案，一种是采用内存数据库提升数据库性能和负载能力，但是大多数内存数据库的存储结构都比较简单，有限的内存系统内存缓存小且容易丢失，与此同时，受到内存价格影响，此方案成本较高。另一种是采用类似MongoDB的非关系型数据库的方案。然而，反欺诈系统实际业务场景需要将规则条件动态化，则对应着非确定查询字段，无法创建固定的索引，因此，在该方案中当查询的条件中的字段为非索引字段时，查询速度缓慢，难以适用。
发明内容
本发明实施例提供了一种基于AeroSpike的数据处理方法、装置、计算机设备及存储介质，旨在解决在反欺诈系统场景中，面对处理大数据时，处理速度慢，数据库性能不佳的问题。
第一方面，本发明实施例提供了一种基于AeroSpike的数据处理方法，其包括：从预设数据库中获取待分析的历史数据；将所述历史数据存储到AeroSpike数据库中并根据预设的风险规则对所述历史数据配置第一索引和失效时间；若接收到数据存储请求，将当前数据存储到AeroSpike数据库中并根据所述预设的风险规则对所述当前数据配置第二索引和失效时间；若接收到风险分析处理请求，根据所述第一索引和所述第二索引以预设方式对所述历史数据和所述当前数据进行风险分析处理，其中，所述第一索引和所述第二索引的类型包括主键索引和二级索引。
第二方面，本发明实施例还提供了一种基于AeroSpike的数据处理装置，其包括：获取单元，用于从预设数据库中获取待分析的历史数据；第一配置单元，用于将所述历史数据存储到AeroSpike数据库中并根据预设的风险规则对所述历史数据配置第一索引和失效时间；第二配置单元，用于若接收到数据存储请求，将当前数据存储到AeroSpike数据库中并根据所述预设的风险规则对所述当前数据配置第二索引和失效时间；处理单元，用于若接收到风险分析处理请求，根据所述第一索引和所述第二索引以预设方式对所述历史数据和所述当前数据进行风险分析处理，其中，所述第一索引和所述第二索引的类型包括主键索引和二级索引。
第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述方法。
本发明实施例提供了一种基于AeroSpike的数据处理方法、装置、计算机设备及存储介质。其中，所述方法包括：从预设数据库中获取待分析的历史数据；将所述历史数据存储到AeroSpike数据库中并根据预设的风险规则对所述历史数据配置第一索引和失效时间；若接收到数据存储请求，将当前数据存储到AeroSpike数据库中并根据所述预设的风险规则对所述当前数据配置第二索引和失效时间；若接收到风险分析处理请求，根据所述第一索引和所述第二索引以预设方式对所述历史数据和所述当前数据进行风险分析处理，其中，所述第一索引和所述第二索引的类型包括主键索引和二级索引。本发明实施例通过根据预设的分析规则对历史数据和当前数据分别配置第一索引和第二索引，以及失效时间，利用第一索引和第二索引进行风险分析处理，可实现动态化配置索引，提高数据库性能、提高查询速度的效果。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于AeroSpike的数据处理方法的流程示意图；
图2为本发明实施例提供的基于AeroSpike的数据处理方法的子流程示意图；
图3为本发明实施例提供的基于AeroSpike的数据处理方法的子流程示意图；
图4为本发明另一实施例提供的基于AeroSpike的数据处理方法的子流程示意图；
图5为本发明实施例提供的基于AeroSpike的数据处理方法的子流程示意图；
图6为本发明实施例提供的基于AeroSpike的数据处理装置的示意性框图；
图7为本发明实施例提供的基于AeroSpike的数据处理装置的具体单元的示意性框图；
图8为本发明实施例提供的基于AeroSpike的数据处理装置的处理单元的示意性框图；
图9为本发明实施例提供的基于AeroSpike的数据处理装置的计算单元的示意性框图；以及
图10为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
图1为本发明实施例提供的基于AeroSpike的数据处理方法的示意性流程图。该基于AeroSpike的数据处理方法，应用于服务器中，服务器可以是独立的服务器，也可是集群服务器。
图1是本发明实施例提供的基于AeroSpike的数据处理方法的流程示意图。如图所示，该方法包括以下步骤S110-S140。
S110、从预设数据库中获取待分析的历史数据。
在一实施例中，预设数据库是业务系统使用的数据库，业务系统例如为银行系统、保险系统以及证券系统等，即存储业务系统的数据的数据库，数据库例如为MongoDB、Redis等传统数据库。反欺诈系统是应用于业务系统中用于防控欺诈风险的规则系统。反欺诈系统中的规则引擎预先配置了一系列的风险规则，风险规则是用于分析用户的行为数据存在风险的一系列规则，例如，风险规则为近一个月的信用卡异地交易达到3次，一天内银行卡交易次数达到5次，又或者一小时内银行卡交易总金额达到50万等。风险规则配置好后，则开始为数据的风险分析作准备，首先第一步是从业务系统的数据库中获取所需要分析的数据，即从预设数据库中获取待分析的历史数据。待分析的历史数据是风险规则中所需要分析的数据，例如，交易记录，登录记录，注册记录等。通过预设数据库的接口直接调用所需要的历史数据即可。
S120、将所述历史数据存储到AeroSpike数据库中并根据预设的风险规则对所述历史数据配置第一索引和失效时间。
在一实施例中，Aerospike是一个分布式、可扩展的K-V类型的Nosql数据库。在Aerospike中有两种索引类型，一种是主键索引，另一种是二级索引，主键索引是用于唯一标识的一个单独的Key，二级索引是除了主键外还包括辅助索引，辅助索引位于非主键上，允许一对多关系建模，也即二级索引是由一个主键和一个辅助索引合并而成的一个Key。其中，第一索引可以为主键索引也可以为二级索引。失效时间(time-to-live，TTL)也称为过期时间或者生存时间，其为数据失效的时间，当数据到期时会自动删除数据。
由于反欺诈系统的规则引擎具有规则多样化、规则更新频繁的特点，相当于规则条件动态化，而传统的数据库无法满足也无法流畅地适应现有的反欺诈系统的规则特点。因此，本方案采用Aerospike数据库作为AeroSpike数据库，利用其索引和失效时间以及存储的特性，配合处理一系列的风险规则，实现数据库性能的提升。所以在提取完历史数据后，将历史数据存储到AeroSpike数据库中，以便于利用AeroSpike数据库处理各种风险。历史数据入库的同时，也需要为其配置索引和失效时间，根据预设的也即配置好的风险规则为历史数据配置第一索引和失效时间，第一索引即历史数据的索引。例如，风险规则为近一个月的信用卡异地交易达到3次，一天内银行卡交易次数达到5次，又或者一小时内银行卡交易总金额达到50万等，相应地则可根据风险规则为历史数据(交易记录)配置第一索引，譬如信用卡卡号与交易地点组成的二级索引、银行卡卡号的主键索引以及银行卡卡号与交易金额组成的二级索引，同样相应地根据风险规则设置对应的失效时间。由于Aerospike可以在库的层级进行全局设置，并且支持对于已存在的数据进行TTL的设置，使用非常方便，因此，在Aerospike中，可便捷地对历史数据配置索引和失效时间，以配合后续的风险处理。
在一实施例中，如图2所示，所述步骤S120可包括步骤S121-S122。
S121、根据预设的风险规则从所述历史数据中提取符合所述风险规则的数据配置为第一索引。
在一实施例中，索引须具有唯一标识性，且索引需根据风险规则来配置，因为风险规则的不同，所提取的作为历史数据的索引则不同。例如，风险规则为一天内银行卡交易次数达到5次，那么在交易记录中则可提取银行卡作为第一索引，而风险规则为一小时内银行卡交易总金额达到50万，那么在交易记录中则需要提取银行卡和每笔交易的金额合并作为第一索引。
S122、根据所述历史数据的时间记录计算并配置所述历史数据的失效时间。
在一实施例中，如图5所示，所述步骤S122包括：S1221-S1222。
S1221、根据所述历史数据的时间记录计算所述历史数据已存在的时间。
S1222、将所述风险规则预设定的数据有效时间与该历史数据已存在的时间之差配置为所述历史数据的失效时间。
在一实施例中，历史数据的失效时间需要进行计算后确定，首先根据历史数据的时间记录计算该历史数据已存在的时间，例如，交易记录是5月1日产生的，当前时间为6月1日，那么该交易记录的已存在时间为一个月。然后，在根据风险规则设定的数据有效时间来计算历史数据的失效时间，历史数据的失效时间为，根据风险规则预设定的数据有效时间与该历史数据已存在的时间之差，例如，风险规则设定的是2个月内的交易记录，若该交易记录已存在1个月了，那么其失效时间则为2个月的有效时间与1个月的已存在的失效时间之差，即其失效时间为1个月。
S130、若接收到数据存储请求，将当前数据存储到AeroSpike数据库中并根据所述预设的风险规则对所述当前数据配置第二索引和失效时间。
在一实施例中，数据存储请求是数据产生后入库存储的请求，譬如，在银行系统中，保险系统中，支付系统中等，产生的交易记录，登录记录，索赔记录等。当前数据也即当即产生的实时数据，系统中当前数据产生后生成数据入库的存储请求。需要注意的是，并非所有的数据均存储到AeroSpike数据库中，而是在反欺诈系统中，风险分析处理所涉及的数据才存储到AeroSpike数据库中，其他数据则存储到传统的数据库中，以更合理地分配存储资源，利用AeroSpike数据库对数据进行风险处理。
当接收到数据存储请求后，首先将当前数据存储到AeroSpike数据库中，同样地，与传统数据库类似，通过AeroSpike数据库的接口进行存储即可。AeroSpike数据库的数据存储在命名空间中(namespace)，命名空间包含记录(records)，索引(indexes)及策略(policies)，其中，策略规定了命名空间行为，例如，数据的存储位置是内存还是SSD、一条记录存储的副本个数以及数据的失效时间等。每个命名空间(namespace)中包含多个集合(set)，每个集合(set)包含多条记录(record)，每个记录(record)包含多个数据库列(bin)，可通过索引(key)来查询记录(record)。AeroSpike数据库与传统数据库相比，集合(set)类似于传统数据库的表的概念，记录(record)类似于传统数据库的行的概念，数据库列(bin)类似于传统数据库的数据库字段的概念，每条记录由索引(key)、元数据(Metadata)以及数据库列(bin)组成。因此，当前数据在存储时，还需配置好第二索引和失效时间，第二索引的配置同样是根据预设的风险规则进行配置，与第一索引配置相同，在此不在赘述。当前数据由于是实时产生的，没有已存在的时间，因此当前数据的失效时间相当于风险规则设定的有效时间，例如，风险规则为一天内银行卡交易次数达到5次，那么其失效时间即为一天或者24小时，其中，失效时间是配置在元数据中。
另外，在AeroSpike数据库中，索引是存储在内存中的，通过命名空间的策略(policies)，小数据可以放在内存中，大数据可以放在SSD中，从而提高了数据的读写速度，提升了数据库性能。
S140、若接收到风险分析处理请求，根据所述第一索引和所述第二索引以预设方式对所述历史数据和所述当前数据进行风险分析处理，其中，所述第一索引和所述第二索引的类型包括主键索引和二级索引。
在一实施例中，风险分析处理指的是在反欺诈系统中对所存在的风险进行分析处理，例如，对数据进行统计，对数据进行模型计算以及对数据进行快速比对等。历史数据和当前数据存储到AeroSpike数据库后，反欺诈系统发出风险分析处理请求，以从AeroSpike数据库中获取历史数据和当前数据进行风险分析处理。具体地，根据所创建的第一索引和第二索引从AeroSpike数据库中查询对应的值，也即历史数据和当前数据，从而获取到历史数据和当前数据，获取到历史数据和当前数据后再进行风险分析处理。
在一实施例中，如图3所示，所述步骤S140可包括步骤S141-S142。
S141、若接收到风险分析处理请求，根据所述第一索引和所述第二索引从所述AeroSpike数据库中获取所述历史数据和所述当前数据。
S142、将所述历史数据和所述当前数据输入至预设的风险模型中进行预测以输出所述风险模型对应的目标风险概率。
在一实施例中，风险分析处理中的一种方式是通过风险模型计算目标风险概率，其中，风险模型指的是用于预测是否发生目标风险的算法模型，例如，卷积神经网络模型、深度神经网络模型以及逻辑回归模型等，目标风险概率指的是发生目标风险的概率，例如，发生欺诈的概率，发生恶意透支的概率，以及发生盗刷的概率等。风险模型已预先训练好，也即通过大量的训练数据对风险模型进行了训练，以使得风险模型能够输出准确的预测值。根据第一索引和第二索引从AeroSpike数据库中获取历史数据和当前数据，在获取到历史数据和当前数据后，将历史数据和当前数据进行预处理转化为可供模型输入的数据，然后将历史数据和当前数据输入到已训练好的风险模型中进行计算，例如，深度神经网络模型，将历史数据和当前数据依次经过输入层、隐藏层和输出层，最后在通过激活函数激活得到一个目标风险概率值。经过风险模型预测得到的目标风险概率即为风险分析处理的结果，根据目标风险概率即可知道目标风险是否可能发生。
在一实施例中，如图4所示，所述步骤S140可包括步骤S143-S145。
S143、若所述第一索引和所述第二索引均为二级索引，根据所述第一索引和所述第二索引的公共前缀统计所述第一索引和所述第二索引的数量。
S144、将所述第一索引和所述第二索引的数量与预设阈值进行对比。
S145、若所述第一索引和所述第二索引的数量大于所述预设阈值，则判定所述历史数据和所述当前数据发生目标风险。
在一实施例中，风险分析处理中的一种方式是通过统计数据来分析风险，在AeroSpike数据库中，可直接通过统计索引的数量来实现风险处理，将数据统计转换为对索引的统计。其中，本实施例中的第一索引和第二索引指的是根据同一风险规则配置的二级索引，因此，第一索引和第二索引具有公共前缀，通过查询第一索引和第二索引的公共前缀以获取所有的第一索引和第二索引并统计所有索引的数量。然后将所统计的第一索引和第二索引的数量与预设阈值相比对，预设阈值是风险规则中设定的一个数量阈值，用于判断是否发生目标风险，若第一索引和第二索引的数量大于预设阈值，则判定发生目标风险，若第一索引和第二索引的数量不大于预设阈值，则判定未发生目标风险。以下，将通过一例子进行说明，其中一风险规则为3个月内同一个IP地址访问设备数量大于10，那么其存储在AeroSpike数据库的历史数据的第一索引为IP地址和设备号组成的二级索引，存储在AeroSpike数据库的实时数据的第二索引也为IP地址和设备号组成的二级索引。IP地址是第一索引和第二索引的公共前缀，设备号不同以致于每个索引都不相同，因此，可通过IP地址也即第一索引和第二索引的公共前缀进行查询，获取所有的第一索引和第二索引并统计数量，然后将所统计的数量与10进行对比，若大于10则判定发生目标风险，若不大于10则判定未发生目标风险。对于传统数据库，需要获取所有待分析的数据，然后再去除同一个IP地址同一个设备号的访问记录，再统计同一个IP地址不同设备号的访问记录才能实现风险分析处理，面对数据量大的情况下，风险分析处理容易出错且速度慢。因此，通过统计索引数量来替代统计数据记录，从而解决传统数据库中难以协调的规则条件动态化和非索引字段查询速度慢的问题。
在一实施例中，AeroSpike数据库中所有的数据均配置了失效时间，在时间窗口内的数据可在AeroSpike数据库中存储和被调用，而当扫描窗口扫描到窗口内的数据到期，也即检测到当前时间到达失效时间，则对应删除掉到达失效时间的历史数据，保证了反欺诈系统所需要数据的时效性，在规则引擎的风险规则设定时间之外的数据能够及时删除，节省更多的空间资源。
在一实施例中，风险日志记录发生目标风险的历史数据和当前数据，例如，一天内银行卡交易次数达到5次的历史数据和当前数据。预设终端是管理反欺诈系统用户的终端。当发生目标风险时，将发生目标风险的历史数据和当前数据生成风险日志，将风险日志发生给管理用户的终端，以及时通知管理用户发生了目标风险，管理用户可通过风险日志快速回溯，以便查找目标风险发生的原因。
本发明实施例展示了一种基于AeroSpike的数据处理方法，其通过从预设数据库中获取待分析的历史数据；将所述历史数据存储到AeroSpike数据库中并根据预设的风险规则对所述历史数据配置第一索引和失效时间；若接收到数据存储请求，将当前数据存储到AeroSpike数据库中并根据所述预设的风险规则对所述当前数据配置第二索引和失效时间；若接收到风险分析处理请求，根据所述第一索引和所述第二索引以预设方式对所述历史数据和所述当前数据进行风险分析处理，其中，所述第一索引和所述第二索引的类型包括主键索引和二级索引，可以实现动态化配置索引，提高数据库性能、提高查询速度。
图6是本发明实施例提供的一种基于AeroSpike的数据处理装置200的示意性框图。如图6所示，对应于以上基于AeroSpike的数据处理方法，本发明还提供一种基于AeroSpike的数据处理装置200。该基于AeroSpike的数据处理装置200包括用于执行上述基于AeroSpike的数据处理方法的单元，该装置可以被配置于服务器中。具体地，请参阅图6，该基于AeroSpike的数据处理装置200包括：获取单元210、第一配置单元220、第二配置单元230以及处理单元240。
获取单元210，用于从预设数据库中获取待分析的历史数据。
第一配置单元220，用于将所述历史数据存储到AeroSpike数据库中并根据预设的风险规则对所述历史数据配置第一索引和失效时间。
在一实施例中，如图7所示，所述第一配置单元220包括提取单元221以及计算单元222。
提取单元221，用于根据预设的风险规则从所述历史数据中提取符合所述风险规则的数据配置为第一索引。
计算单元222，用于根据所述历史数据的时间记录计算并配置所述历史数据的失效时间。
在一实施例中，如图9所示，所述计算单元222还包括：计算子单元2221和配置子单元2222。
计算子单元2221，用于根据所述历史数据的时间记录计算所述历史数据已存在的时间。
配置子单元2222，用于将所述风险规则预设定的数据有效时间与该历史数据已存在的时间之差配置为所述历史数据的失效时间。
第二配置单元230，用于若接收到数据存储请求，将当前数据存储到AeroSpike数据库中并根据所述预设的风险规则对所述当前数据配置第二索引和失效时间。
处理单元240，用于若接收到风险分析处理请求，根据所述第一索引和所述第二索引以预设方式对所述历史数据和所述当前数据进行风险分析处理，其中，所述第一索引和所述第二索引的类型包括主键索引和二级索引。
在一实施例中，如图7所示，所述处理单元240包括获取子单元241和模型处理单元242。
获取子单元241，用于若接收到风险分析处理请求，根据所述第一索引和所述第二索引从所述AeroSpike数据库中获取所述历史数据和所述当前数据。
模型处理单元242，用于将所述历史数据和所述当前数据输入至预设的风险模型中进行预测以输出所述风险模型对应的目标风险概率。
在一实施例中，如图8所示，所述处理单元240包括统计单元243、对比单元244以及判定单元245。
统计单元243，用于若所述第一索引和所述第二索引均为二级索引，根据所述第一索引和所述第二索引的公共前缀统计所述第一索引和所述第二索引的数量。
对比单元244，用于将所述第一索引和所述第二索引的数量与预设阈值进行对比。
判定单元245，用于若所述第一索引和所述第二索引的数量大于所述预设阈值，则判定所述历史数据和所述当前数据发生目标风险。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述基于AeroSpike的数据处理装置200和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述基于AeroSpike的数据处理装置可以实现为一种计算机程序的形式，该计算机程序可以在如图10所示的计算机设备上运行。
请参阅图10，图10是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图10，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种基于AeroSpike的数据处理方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种基于AeroSpike的数据处理方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：从预设数据库中获取待分析的历史数据；将所述历史数据存储到AeroSpike数据库中并根据预设的风险规则对所述历史数据配置第一索引和失效时间；若接收到数据存储请求，将当前数据存储到AeroSpike数据库中并根据所述预设的风险规则对所述当前数据配置第二索引和失效时间；若接收到风险分析处理请求，根据所述第一索引和所述第二索引以预设方式对所述历史数据和所述当前数据进行风险分析处理，其中，所述第一索引和所述第二索引的类型包括主键索引和二级索引。
在一实施例中，处理器502在实现所述将所述历史数据存储到AeroSpike数据库中并根据预设的风险规则对所述历史数据配置第一索引和失效时间步骤时，具体实现如下步骤：根据预设的风险规则从所述历史数据中提取符合所述风险规则的数据配置为第一索引；根据所述历史数据的时间记录计算并配置所述历史数据的失效时间。
在一实施例中，处理器502在实现所述若接收到风险分析处理请求，根据所述第一索引和所述第二索引以预设方式对所述历史数据和所述当前数据进行风险分析处理，其中，所述第一索引和所述第二索引的类型包括主键索引和二级索引步骤时，具体实现如下步骤：若接收到风险分析处理请求，根据所述第一索引和所述第二索引从所述AeroSpike数据库中获取所述历史数据和所述当前数据；将所述历史数据和所述当前数据输入至预设的风险模型中进行预测以输出所述风险模型对应的目标风险概率。
在一实施例中，处理器502在实现所述若接收到风险分析处理请求，根据所述第一索引和所述第二索引以预设方式对所述历史数据和所述当前数据进行风险分析处理，其中，所述第一索引和所述第二索引的类型包括主键索引和二级索引步骤时，具体实现如下步骤：若所述第一索引和所述第二索引均为二级索引，根据所述第一索引和所述第二索引的公共前缀统计所述第一索引和所述第二索引的数量；将所述第一索引和所述第二索引的数量与预设阈值进行对比；若所述第一索引和所述第二索引的数量大于所述预设阈值，则判定所述历史数据和所述当前数据发生目标风险。
在一实施例中，处理器502在实现所述根据所述历史数据的时间记录计算并配置所述历史数据的失效时间时，具体实现如下步骤：根据所述历史数据的时间记录计算所述历史数据已存在的时间；将所述风险规则预设定的数据有效时间与该历史数据已存在的时间之差配置为所述历史数据的失效时间。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如下步骤：从预设数据库中获取待分析的历史数据；将所述历史数据存储到AeroSpike数据库中并根据预设的风险规则对所述历史数据配置第一索引和失效时间；若接收到数据存储请求，将当前数据存储到AeroSpike数据库中并根据所述预设的风险规则对所述当前数据配置第二索引和失效时间；若接收到风险分析处理请求，根据所述第一索引和所述第二索引以预设方式对所述历史数据和所述当前数据进行风险分析处理，其中，所述第一索引和所述第二索引的类型包括主键索引和二级索引。
在一实施例中，所述处理器在执行所述程序指令而实现所述将所述历史数据存储到AeroSpike数据库中并根据预设的风险规则对所述历史数据配置第一索引和失效时间步骤时，具体实现如下步骤：根据预设的风险规则从所述历史数据中提取符合所述风险规则的数据配置为第一索引；根据所述历史数据的时间记录计算并配置所述历史数据的失效时间。
在一实施例中，所述处理器在执行所述程序指令而实现所述若接收到风险分析处理请求，根据所述第一索引和所述第二索引以预设方式对所述历史数据和所述当前数据进行风险分析处理，其中，所述第一索引和所述第二索引的类型包括主键索引和二级索引步骤时，具体实现如下步骤：若接收到风险分析处理请求，根据所述第一索引和所述第二索引从所述AeroSpike数据库中获取所述历史数据和所述当前数据；将所述历史数据和所述当前数据输入至预设的风险模型中进行预测以输出所述风险模型对应的目标风险概率。
在一实施例中，所述处理器在执行所述程序指令而实现所述若接收到风险分析处理请求，根据所述第一索引和所述第二索引以预设方式对所述历史数据和所述当前数据进行风险分析处理，其中，所述第一索引和所述第二索引的类型包括主键索引和二级索引步骤时，具体实现如下步骤：若所述第一索引和所述第二索引均为二级索引，根据所述第一索引和所述第二索引的公共前缀统计所述第一索引和所述第二索引的数量；将所述第一索引和所述第二索引的数量与预设阈值进行对比；若所述第一索引和所述第二索引的数量大于所述预设阈值，则判定所述历史数据和所述当前数据发生目标风险。
在一实施例中，所述处理器在执行所述程序指令而实现所述根据所述历史数据的时间记录计算并配置所述历史数据的失效时间时，具体实现如下步骤：根据所述历史数据的时间记录计算所述历史数据已存在的时间；将所述风险规则预设定的数据有效时间与该历史数据已存在的时间之差配置为所述历史数据的失效时间。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于AeroSpike的数据处理方法，其特征在于，包括：
从预设数据库中获取待分析的历史数据；
将所述历史数据存储到AeroSpike数据库中并根据预设的风险规则对所述历史数据配置第一索引和失效时间；
若接收到数据存储请求，将当前数据存储到AeroSpike数据库中并根据所述预设的风险规则对所述当前数据配置第二索引和失效时间；
若接收到风险分析处理请求，根据所述第一索引和所述第二索引以预设方式对所述历史数据和所述当前数据进行风险分析处理，其中，所述第一索引和所述第二索引的类型包括主键索引和二级索引。
2.根据权利要求1所述的基于AeroSpike的数据处理方法，其特征在于，所述将所述历史数据存储到AeroSpike数据库中并根据预设的风险规则对所述历史数据配置第一索引和失效时间，包括：
根据预设的风险规则从所述历史数据中提取符合所述风险规则的数据配置为第一索引；
根据所述历史数据的时间记录计算并配置所述历史数据的失效时间。
3.根据权利要求2所述的基于AeroSpike的数据处理方法，其特征在于，所述根据所述历史数据的时间记录计算并配置所述历史数据的失效时间，包括：
根据所述历史数据的时间记录计算所述历史数据已存在的时间；
将所述风险规则预设定的数据有效时间与该历史数据已存在的时间之差配置为所述历史数据的失效时间。
4.根据权利要求1所述的基于AeroSpike的数据处理方法，其特征在于，所述若接收到风险分析处理请求，根据所述第一索引和所述第二索引以预设方式对所述历史数据和所述当前数据进行风险分析处理，包括：
若接收到风险分析处理请求，根据所述第一索引和所述第二索引从所述AeroSpike数据库中获取所述历史数据和所述当前数据；
将所述历史数据和所述当前数据输入至预设的风险模型中进行预测以输出所述风险模型对应的目标风险概率。
5.根据权利要求1所述的基于AeroSpike的数据处理方法，其特征在于，所述若接收到风险分析处理请求，根据所述第一索引和所述第二索引以预设方式对所述历史数据和所述当前数据进行风险分析处理，包括：
若所述第一索引和所述第二索引均为二级索引，根据所述第一索引和所述第二索引的公共前缀统计所述第一索引和所述第二索引的数量；
将所述第一索引和所述第二索引的数量与预设阈值进行对比；
若所述第一索引和所述第二索引的数量大于所述预设阈值，则判定所述历史数据和所述当前数据发生目标风险。
6.一种基于AeroSpike的数据处理装置，其特征在于，包括：
获取单元，用于从预设数据库中获取待分析的历史数据；
第一配置单元，用于将所述历史数据存储到AeroSpike数据库中并根据预设的风险规则对所述历史数据配置第一索引和失效时间；
第二配置单元，用于若接收到数据存储请求，将当前数据存储到AeroSpike数据库中并根据所述预设的风险规则对所述当前数据配置第二索引和失效时间；
处理单元，用于若接收到风险分析处理请求，根据所述第一索引和所述第二索引以预设方式对所述历史数据和所述当前数据进行风险分析处理，其中，所述第一索引和所述第二索引的类型包括主键索引和二级索引。
7.根据权利要求6所述的基于AeroSpike的数据处理装置，其特征在于，所述第一配置单元包括：
提取单元，用于根据预设的风险规则从所述历史数据中提取符合所述风险规则的数据配置为第一索引；
计算单元，用于根据所述历史数据的时间记录计算并配置所述历史数据的失效时间。
8.根据权利要求6所述的基于AeroSpike的数据处理装置，其特征在于，所述处理单元包括：
统计单元，用于若所述第一索引和所述第二索引均为二级索引，根据所述第一索引和所述第二索引的公共前缀统计所述第一索引和所述第二索引的数量；
对比单元，用于将所述第一索引和所述第二索引的数量与预设阈值进行对比；
判定单元，用于若所述第一索引和所述第二索引的数量大于所述预设阈值，则判定所述历史数据和所述当前数据发生目标风险。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现如权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010099241.1A CN111427883A (zh) | 2020-02-18 | 2020-02-18 | 基于AeroSpike的数据处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010099241.1A CN111427883A (zh) | 2020-02-18 | 2020-02-18 | 基于AeroSpike的数据处理方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111427883A true CN111427883A (zh) | 2020-07-17 |
Family
ID=71551590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010099241.1A Pending CN111427883A (zh) | 2020-02-18 | 2020-02-18 | 基于AeroSpike的数据处理方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111427883A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111930764A (zh) * | 2020-07-31 | 2020-11-13 | 银盛支付服务股份有限公司 | 基于实时数据处理的风险交易管控方法及装置 |
| CN113448943A (zh) * | 2021-06-21 | 2021-09-28 | 北京优炫软件股份有限公司 | 一种数据库配置方法、装置、电子设备和可读存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008109776A2 (en) * | 2007-03-06 | 2008-09-12 | Nitrosecurity, Inc. | Databases and database indexes |
| US20180165327A1 (en) * | 2016-12-14 | 2018-06-14 | Google Inc. | Avoiding index-navigation deadlocks in database systems |
| US20180253728A1 (en) * | 2017-03-02 | 2018-09-06 | International Business Machines Corporation | Optimizing fraud analytics selection |
| CN109359113A (zh) * | 2018-10-16 | 2019-02-19 | 平安科技（深圳）有限公司 | 纳税报表核对方法、装置及存储介质、服务器 |
| CN109544014A (zh) * | 2018-11-26 | 2019-03-29 | 北京国舜科技股份有限公司 | 基于历史数据回放的反欺诈方法及装置 |
| CN109918472A (zh) * | 2019-02-27 | 2019-06-21 | 北京百度网讯科技有限公司 | 存储和查询数据的方法、装置、设备和介质 |
| CN109918380A (zh) * | 2019-03-08 | 2019-06-21 | 上海拉扎斯信息科技有限公司 | 数据处理方法、装置、存储介质和电子设备 |
| US20190311056A1 (en) * | 2018-04-09 | 2019-10-10 | International Business Machines Corporation | Dynamically slicing datastore query sizes |
| CN110349015A (zh) * | 2019-07-17 | 2019-10-18 | 民生科技有限责任公司 | 基于三路引擎的反欺诈系统调优投产上线方法及装置 |
| WO2020015089A1 (zh) * | 2018-07-18 | 2020-01-23 | 平安科技（深圳）有限公司 | 身份信息风险评定方法、装置、计算机设备和存储介质 |
-
2020
- 2020-02-18 CN CN202010099241.1A patent/CN111427883A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008109776A2 (en) * | 2007-03-06 | 2008-09-12 | Nitrosecurity, Inc. | Databases and database indexes |
| US20180165327A1 (en) * | 2016-12-14 | 2018-06-14 | Google Inc. | Avoiding index-navigation deadlocks in database systems |
| US20180253728A1 (en) * | 2017-03-02 | 2018-09-06 | International Business Machines Corporation | Optimizing fraud analytics selection |
| US20190311056A1 (en) * | 2018-04-09 | 2019-10-10 | International Business Machines Corporation | Dynamically slicing datastore query sizes |
| WO2020015089A1 (zh) * | 2018-07-18 | 2020-01-23 | 平安科技（深圳）有限公司 | 身份信息风险评定方法、装置、计算机设备和存储介质 |
| CN109359113A (zh) * | 2018-10-16 | 2019-02-19 | 平安科技（深圳）有限公司 | 纳税报表核对方法、装置及存储介质、服务器 |
| CN109544014A (zh) * | 2018-11-26 | 2019-03-29 | 北京国舜科技股份有限公司 | 基于历史数据回放的反欺诈方法及装置 |
| CN109918472A (zh) * | 2019-02-27 | 2019-06-21 | 北京百度网讯科技有限公司 | 存储和查询数据的方法、装置、设备和介质 |
| CN109918380A (zh) * | 2019-03-08 | 2019-06-21 | 上海拉扎斯信息科技有限公司 | 数据处理方法、装置、存储介质和电子设备 |
| CN110349015A (zh) * | 2019-07-17 | 2019-10-18 | 民生科技有限责任公司 | 基于三路引擎的反欺诈系统调优投产上线方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111930764A (zh) * | 2020-07-31 | 2020-11-13 | 银盛支付服务股份有限公司 | 基于实时数据处理的风险交易管控方法及装置 |
| CN113448943A (zh) * | 2021-06-21 | 2021-09-28 | 北京优炫软件股份有限公司 | 一种数据库配置方法、装置、电子设备和可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105590055B (zh) | 用于在网络交互系统中识别用户可信行为的方法及装置 | |
| CN110442712B (zh) | 风险的确定方法、装置、服务器和文本审理系统 | |
| CN111666346B (zh) | 信息归并方法、交易查询方法、装置、计算机及存储介质 | |
| CN110532461B (zh) | 信息平台推送方法、装置、计算机设备及存储介质 | |
| CN111580874B (zh) | 数据申请的系统安全控制方法、系统和计算机设备 | |
| CN111507470A (zh) | 一种异常账户的识别方法及装置 | |
| CN104063450A (zh) | 热点信息分析方法及设备 | |
| CN110766275A (zh) | 数据验证方法、装置、计算机设备及存储介质 | |
| CN109495479A (zh) | 一种用户异常行为识别方法及装置 | |
| WO2019061664A1 (zh) | 电子装置、基于用户上网数据的产品推荐方法及存储介质 | |
| CN112819611A (zh) | 欺诈识别方法、装置、电子设备和计算机可读存储介质 | |
| CN112685774B (zh) | 基于大数据和区块链金融的支付数据处理方法及云服务器 | |
| CN111427883A (zh) | 基于AeroSpike的数据处理方法、装置、计算机设备及存储介质 | |
| US20160117781A1 (en) | Inferred matching of payment card accounts by matching to common mobile device via time and location data analysis | |
| CN114186760A (zh) | 一种企业稳健运营的分析方法、系统及可读存储介质 | |
| CN112989763A (zh) | 数据获取方法、装置、计算机设备及存储介质 | |
| CN110990810B (zh) | 一种用户操作数据处理方法、装置、设备及存储介质 | |
| CN113901046A (zh) | 虚拟维度表构建方法及装置 | |
| CN113377818A (zh) | 流程验证方法、装置、计算机设备及存储介质 | |
| CN112214506A (zh) | 一种信息采集方法、装置及存储介质 | |
| CN111984798A (zh) | 图谱数据预处理方法及装置 | |
| CN105243588A (zh) | 一种证券市场内幕交易行为分析方法 | |
| CN113723522B (zh) | 异常用户的识别方法、装置、电子设备以及存储介质 | |
| CN109871215B (zh) | 软件发布的方法和装置 | |
| CN117896154A (zh) | 撞库风险的数据处理方法、装置和服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |