CN109558409A

CN109558409A - 数据处理方法及装置

Info

Publication number: CN109558409A
Application number: CN201811488889.7A
Authority: CN
Inventors: 李帅; 张强; 刘翊
Original assignee: Taikang Insurance Group Co Ltd; Taikang Online Property Insurance Co Ltd
Current assignee: Taikang Insurance Group Co Ltd; Taikang Online Property Insurance Co Ltd
Priority date: 2018-12-06
Filing date: 2018-12-06
Publication date: 2019-04-02
Anticipated expiration: 2038-12-06
Also published as: CN109558409B

Abstract

本发明提供一种数据处理方法及装置，通过获取业务数据，确定业务数据对应的客户号，根据客户号确定业务数据的存储位置，将业务数据保存至存储位置，通过上述方法实现对业务数据的分布式存储，便于系统对业务数据进行实时监控及数据分析。

Description

数据处理方法及装置

技术领域

本发明涉及数据库技术领域，尤其涉及一种数据处理方法及装置。

背景技术

洗钱是一种将非法所得合法化的行为，主要指将违法所得及其产生的收益，通过各种手段掩饰、隐瞒其来源和性质，使其在形式上合法化。在当前金融网络中，通过设置反洗钱系统来实现对可疑洗钱账户的监测，以维护金融体系的稳健运行，维护社会公正和市场竞争。

目前，反洗钱系统主要通过预设的数据处理规则对离线交易数据进行统计分析，从而得到相应的离线分析结果。具体来说，系统的数据处理过程包括交易数据的存储过程和数据分析过程，其中，存储过程一般是将交易数据集中存储在传统的数据库中，通常采用oracle数据库；数据分析过程是通过反洗钱工作中指定的数据处理规则对系统中的历史数据进行整体的数据处理。

按照上述传统的数据处理方式，一次性要处理的数据量较多，导致查询功能触发之后需要耗费较长时间才能将执行的结果展示出来，在数据量太大的情况下，甚至会出现请求超时的情况。

发明内容

本发明提供一种数据处理方法及装置，实现对业务数据的分布式存储，便于系统对业务数据进行实时监控及数据分析，提高系统数据处理效率。

本发明的第一方面提供一种数据处理方法，包括：

获取业务数据，确定所述业务数据对应的客户号；

根据所述客户号确定所述业务数据的存储位置；

将所述业务数据保存至所述存储位置。

可选的，所述业务数据包括客户信息；所述确定所述业务数据对应的客户号，包括：

根据所述客户信息和预设加密算法，确定所述业务数据对应的客户号。

可选的，所述客户号包括数字字段；所述根据所述客户号确定所述业务数据的存储位置，包括：

根据所述数字字段确定所述客户号对应的数据库编号和数据表编号；

根据所述数据库编号和所述数据表编号确定所述业务数据的存储位置。

可选的，所述根据所述数字字段确定所述客户号对应的数据库编号和数据表编号，包括：

根据预设取余规则对所述数字字段进行取余运算，得到所述客户号对应的数据库编号和数据表编号。

可选的，所述根据所述客户号确定所述业务数据的存储位置之后，所述方法还包括：

将所述客户号和所述存储位置保存至索引库表，所述索引库表用于指示客户号对应的业务数据的存储位置。

可选的，所述业务数据包括交易金额；所述方法还包括：

判断所述业务数据的所述交易金额是否超出预设交易金额；

若所述业务数据的所述交易金额超出所述预设交易金额，则从所述索引库表中获取所述业务数据对应的客户号的历史业务数据；

根据预设的洗钱评定规则和所述历史业务数据，确定所述业务数据对应的客户是否存在非法交易。

可选的，所述业务数据为承保业务数据、批改业务数据或理赔业务数据。

本发明的第二方面提供一种数据处理装置，包括：

获取模块，用于获取业务数据；

确定模块，用于确定所述业务数据对应的客户号；

所述确定模块，还用于根据所述客户号确定所述业务数据的存储位置；

存储模块，用于将所述业务数据保存至所述存储位置。

本发明的第三方面提供一种数据处理装置，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如本发明第一方面任一项所述的方法。

本发明的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如本发明第一方面任一项所述的方法。

本发明实施例提供的数据处理方法及装置，通过获取业务数据，确定业务数据对应的客户号，根据客户号确定业务数据的存储位置，将业务数据保存至存储位置，通过上述方法实现对业务数据的分布式存储，便于系统对业务数据进行实时监控及数据分析。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的数据处理方法的流程示意图；

图2为本发明另一实施例提供的数据处理方法的流程示意图；

图3为本发明一实施例提供的数据处理装置的结构示意图；

图4为本发明另一实施例提供的数据处理装置的结构示意图；

图5为本发明一实施例提供的数据处理装置的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，本文中使用的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明中的“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本发明的说明书中通篇提到的“一实施例”或“另一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在本实施例中”或“在一些实施例中”未必一定指相同的实施例。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

本发明实施例提供的数据处理方法具体包括数据存储方法以及数据分析方法，应用于反洗钱系统。其中，数据存储方法采用分布式存储，对业务数据进行分库分表存储，数据分析方法是在业务数据分布式存储的基础上，对反洗钱系统中的业务数据进行实时监测以及针对性的数据处理方法。本实施例提供的方法，实现反洗钱系统数据的分布式存储，提高了系统的数据处理效率。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1为本发明一实施例提供的数据处理方法的流程示意图，该方法可以由任意执行数据处理方法的装置来执行，该装置可以通过软件和/或硬件实现。

如图1所示，本实施例提供的数据处理方法，具体包括以下步骤：

S101、获取业务数据；

在本实施例中，业务数据根据业务类型的不同分为承保业务数据、批改业务数据以及理赔业务数据，对于业务数据的类型，本实施例不作具体限定。

具体的，业务数据包括客户信息和交易信息；其中，客户信息包括客户的姓名、证件号码、证件类型、生日、地址信息、联系电话等，交易信息包括交易金额。

示例性的，针对保险行业，对于每一笔交易或者说每一笔保单，业务数据中的客户信息包括投保人、被保人和受益人的信息，其中，投保人和被保人可以是同一人，投保人和受益人也可以是一个人；业务数据中的交易信息包括投保金额。

可选的，在获取业务数据后，需要对业务数据中的客户信息进行身份验证，验证成功后，执行S102，确保业务数据中客户信息真实有效。

S102、确定业务数据对应的客户号；

具体的，根据业务数据中的客户信息和预设加密算法，确定业务数据对应的客户号。其中，客户号包括数字字段和字母字段。

本实施例的预设加密算法包括MD5算法和哈希算法。

具体来说，根据业务数据中客户的证件号码和MD5算法，得到字母和数字交替出现的32位号码，号码中的字母作为业务数据对应的客户号的字母字段；同时，对证件号码进行哈希编码取绝对值，得到业务数据对应的客户号的数字字段。

示例性的，按照上述预设加密算法生成的客户号为DXFSAGETAGAG241515。

S103、根据客户号确定业务数据的存储位置；

由S102可知，业务数据对应的客户号可以包括数字字段和字母字段，具体可根据客户号的数字字段确定客户号对应的数据库编号和数据表编号；

具体的，根据预设取余规则对数字字段进行取余运算，得到客户号对应的数据库编号和数据表编号。

可以理解，不同的数字字段对应不同的数据库和数据表，从而达到将不同客户的业务数据进行分库分表存储。同一客户的所有类型的业务数据均保存在同一数据库的同一数据表中。

示例性的，以S102中生成的客户号DXFSAGETAGAG241515为例，对该客户号的数字字段241515按照预设取余规则进行取余运算，例如设定客户号数字字段的前三位对64取余得到数据库编号，设定客户号数字字段的后三位对128取余得到数据表编号。

根据数据库编号和数据表编号确定业务数据的存储位置。

本实施例通过对客户号的数字字段进行取余运算，确定该客户号对应的存储位置，实现对业务数据的分布式存储，以便提高系统数据查询的效率。

S104、将业务数据保存至存储位置。

示例性的，若确定业务数据对应的数据库编号为1，数据表编号为3，则将业务数据保存至数据库01的数据表03中。

可选的，对于同一客户不同类型的业务数据，可以对业务数据的存储位置进一步限定，或者说对数据表进一步细分。例如对于承保业务数据，根据上述方法确定承保业务数据的存储位置为数据库01承保业务数据表03，例如fanxq01库对应的表t_policy_info03；对于批改业务数据，根据上述方法确定批改业务数据的存储位置为数据库01批改业务数据表03，例如fanxq01库对应的表t_endor_info03；对于理赔业务数据，根据上述方法确定理赔业务数据的存储位置为数据库01理赔业务数据表03，例如fanxq01库对应的表t_claim_info03。

需要指出的是，本实施例中不同客户生成的客户号不同，通过上述取余规则得到的数据库编号和数据表编号可能相同，例如客户号数字字段为641131和129259的客户，按照预设的取余规则两者的数据库编号和数据表编号相同，对应fanxq01库的表t_policy_info03、t_endor_info03、t_claim_info03，其中fanxq01库的表t_policy_info03用于存储客户号数字字段为641131和129259的承保业务数据，fanxq01库的表t_endor_info03用于存储客户号数字字段为641131和129259的批改业务数据，fanxq01库的表t_claim_info03用于存储客户号数字字段为641131和129259的理赔业务数据。

本发明实施例提供的数据处理方法，通过获取业务数据，确定业务数据对应的客户号，根据客户号确定业务数据的存储位置，将业务数据保存至存储位置，通过上述方法实现对业务数据的分布式存储，便于系统对业务数据进行实时监控及数据分析。

上述实施例示出了反洗钱系统的数据存储方法，根据业务数据的客户号确定业务数据的存储位置，实现对业务数据分库分表存储。基于上述数据存储的反洗钱系统，下述实施例提供了系统的数据分析方法，提高系统数据处理效率。下面结合附图对本实施例的数据处理方法进行详细说明。

图2为本发明另一实施例提供的数据处理方法的流程示意图，在图1实施例的基础上，如图2所示，本实施例提供的数据处理方法，还包括以下步骤：

S201、判断业务数据的交易金额是否超出预设交易金额，若业务数据的交易金额超出预设交易金额，则获取业务数据对应的客户号；

在本实施例中，针对实时获取的业务数据，数据处理装置对每一条业务数据保存后，判断该业务数据中的交易金额是否超出预设交易金额，对业务数据进行初步判定，若交易金额过大超出预设值，数据处理装置会自动调取该业务数据对应的客户的历史业务数据做进一步判断，具体可参见S203。

示例性的，针对保险行业，若同一投保人的单笔保单的每次承保金额在5万元以上，则获取该保单对应的客户号，对该客户的历史业务数据作进一步判断。

S202、从索引库表中获取业务数据对应的客户号的历史业务数据；

在本实施例中，数据处理装置根据客户号确定该客户号对应的历史业务数据的存储位置。具体的，

从索引库表中查找该客户号对应的历史业务数据的存储位置，其中，历史业务数据包括承保业务数据、批改业务数据及理赔业务数据中的至少一种。本实施例的索引库表中预先存储客户号以及客户号对应的不同类型业务数据的存储位置。

具体的，可以调取该客户号在预设时段内的历史业务数据，或者，该客户号的全部历史业务数据，对此本实施例不作具体限定。

S203、根据预设的洗钱评定规则和历史业务数据，确定业务数据对应的客户是否存在非法交易。

本实施例中，预设的洗钱评定规则为累计过程的评定规则。具体来说，

在一些实施例中，根据历史业务数据，确定在预设时段内各业务数据的交易金额是否超出预设交易金额，统计超出预设交易金额的业务数据的数量，若该数量超出预设数量，则确定业务数据对应的客户存在非法交易。

示例性的，同一投保人在30天内承保保单大于等于3件，且每次承保金额在5万元以上，则确定该投保人存在非法交易。

在另一些实施例中，根据历史业务数据，确定在预设时段内各业务数据的交易金额的总额超出预设交易金额，则确定业务数据对应的客户存在非法交易。

示例性，同一投保人在30天内承保保单的累积追加保费大于等于50万，则确定该投保人存在非法交易。

本发明实施例提供的数据处理方法，在确定实时业务数据的交易金额超出预设交易金额时，获取该业务数据对应的客户号，根据客户号查询客户号对应的历史业务数据，根据预设的洗钱评定规则和历史业务数据，确定业务数据对应的客户是否存在非法交易。通过上述方法，实现系统对业务数据的实时监控和数据分析，提高系统数据处理的效率。

图3为本发明一实施例提供的数据处理装置的结构示意图，如图3所示，本实施例提供的数据处理装置30，包括：

获取模块31，用于获取业务数据；

确定模块32，用于确定所述业务数据对应的客户号；

所述确定模块32，还用于根据所述客户号确定所述业务数据的存储位置；

存储模块33，用于将所述业务数据保存至所述存储位置。

本发明实施例提供的数据处理装置，包括获取模块、确定模块和存储模块，获取模块用于获取业务数据，确定模块用于确定业务数据对应的客户号，根据客户号确定业务数据的存储位置，存储模块用于将业务数据保存至存储位置。通过上述装置，实现对业务数据的分布式存储，便于系统对业务数据进行实时监控及数据分析。

可选的，所述业务数据包括客户信息；所述确定模块32，具体用于：根据所述客户信息和预设加密算法，确定所述业务数据对应的客户号。

可选的，所述客户号包括数字字段；所述确定模块32，具体用于：

可选的，所述确定模块32，具体用于：

可选的，所述存储模块33，还用于：在所述根据所述客户号确定所述业务数据的存储位置之后，将所述客户号和所述存储位置保存至索引库表，所述索引库表用于指示客户号对应的业务数据的存储位置。

可选的，所述业务数据包括交易金额。

图4为本发明另一实施例提供的数据处理装置的结构示意图，进一步地，在图3所示装置实施例的基础上，所述数据处理装置30还包括：

判断模块34，用于判断所述业务数据的所述交易金额是否超出预设交易金额；

若业务数据的交易金额超出预设交易金额，则所述获取模块31，用于从所述索引库表中获取所述业务数据对应的客户号的历史业务数据；

所述确定模块32，还用于根据预设的洗钱评定规则和所述历史业务数据，确定所述业务数据对应的客户是否存在非法交易。

可选的，所述预设的洗钱评定规则为累计过程的评定规则。

本实施例提供的数据处理装置，可以执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。

本发明实施例还提供一种数据处理装置，参见图5所示，本发明实施例仅以图5为例进行说明，并不表示本发明仅限于此。

图5为本发明一实施例提供的数据处理装置的硬件结构示意图，如图5所示，本实施例提供的数据处理装置50包括：

存储器51；

处理器52；以及

计算机程序；

其中，计算机程序存储在存储器51中，并被配置为由处理器52执行以实现如前述任一项方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

可选的，存储器51既可以是独立的，也可以跟处理器52集成在一起。

当存储器51是独立于处理器52之外的器件时，数据处理装置50还包括：

总线53，用于连接存储器51和处理器52。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器52执行以实现如上方法实施例中数据处理装置50所执行的各个步骤。

应理解，上述处理器可以是中央处理单元(英文：Central ProcessingUnit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：DigitalSignal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application SpecificIntegrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种数据处理方法，其特征在于，包括：

获取业务数据，确定所述业务数据对应的客户号；

根据所述客户号确定所述业务数据的存储位置；

将所述业务数据保存至所述存储位置。

2.根据权利要求1所述的方法，其特征在于，所述业务数据包括客户信息；所述确定所述业务数据对应的客户号，包括：

3.根据权利要求1所述的方法，其特征在于，所述客户号包括数字字段；所述根据所述客户号确定所述业务数据的存储位置，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述数字字段确定所述客户号对应的数据库编号和数据表编号，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据所述客户号确定所述业务数据的存储位置之后，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述业务数据包括交易金额；所述方法还包括：

判断所述业务数据的所述交易金额是否超出预设交易金额；

7.根据权利要求1-6任一项所述的方法，其特征在于，所述业务数据为承保业务数据、批改业务数据或理赔业务数据。

8.一种数据处理装置，其特征在于，包括：

获取模块，用于获取业务数据；确定模块，用于确定所述业务数据对应的客户号；

存储模块，用于将所述业务数据保存至所述存储位置。

9.一种数据处理装置，其特征在于，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-7任一项所述的方法。