CN110691112A - 一种数据同步方法，装置及系统 - Google Patents

Abstract

本申请实施例示出一种数据同步方法，装置及系统，所述方法包括：建立binlog监听机制，监听风控系统中的属性信息数据，若所述属性信息数据更新，生成更新数据；将所述更新数据通过消息总线发送至相应的业务端。可见本申请实施例示出的方法，在确定更新数据的同时主动将项发送至业务端，然后业务端根据更新数据中数据，对风控模型进行更新，进而，保证风控模型的数据与实时数据的一致性，整个风控系统数据的同步，当应用平台服务器获知实时数据发生更新时生成更新数据，直接以通知的形式将更新数据发送业务端，业务端在接收到更新数据后，对更新数据中的数据进行后续的处理。整个数据传递的过程，数据存在更新，便立即产生数据的传递，整个过程流畅。

Description

一种数据同步方法，装置及系统

技术领域

本发明涉及计算机技术领域，特别涉及一种数据同步方法，装置及系统。

背景技术

随着互联网在我国越来越普及，众多互联网公司的用户量呈现指数上升的趋势，越来越多的客户会选择用网上支付的方式(银行卡，第三方支付，礼品卡等)来购买相应的产品，而很多不法分子盯准了这一“商机”，疯狂的进行欺诈、盗用、刷单等行为。如何能保证客户和公司的利益，愈发成为互联网风险控制部门工作的重中之重。为了保证用户和公司的利益，互联网风险控制部门设置了一套风控系统。

现有技术示出的风控系统中的关系网功能获取用户各个属性信息，以及，给风控模型提供训练集数据的方法；以刷单为例，用户在购买某一商品时，需要输入属性信息，风控系统获取属性信息，以及，用户想要购买的商品信息，然后风控系统通过属性信息，调取该用户的历史信息，通过对用户历史数据，以及，刚刚获取的属性信息，以及，商品信息，通过数据的分析确定该用户是否是刷单用户。再例如给风控模型提供训练集数据，风控系统实时的训练集数据，并对建模数据分类，存储于数据库中，业务端定时的在数据库中拉取相应的训练集数据构建风控模型。

现有技术示出的风控系统中的关系网功能获取用户各个属性信息以及给风控模型提供训练集数据的方法都是写一个定时任务，在特定的时间执行任务来从数据库中拉取到所需数据后通过和关系网、风控模型约定好的传输方式把数据同步过去。通过这种方式来做的数据同步有几方面的问题。通过定时脚本来拉取数据的时候每次查询数据的量级非常大，脚本的运行时间会很慢以及对数据库的访问也有很大压力。由于是定时任务，就无法实现数据的实时同步。

发明内容

本发明的发明目的在于提供一种数据同步方法，装置及系统，以解现有技术示出的风控系统无法实现数据同步的技术问题。

本申请实施例第一方面示出一种数据同步方法，所述方法包括：

建立binlog监听机制，监听风控系统中的属性信息数据，若所述属性信息数据更新，生成更新数据；

将所述更新数据通过消息总线发送至相应的业务端。

可选择的，所述建立binlog监听机制，监听风控系统中的属性信息数据的步骤包括：

根据业务端构建风控模型涉及的业务数据，筛选历史数据，构建binlog列表，binlog列表包括：binlog文件名logfile，binlog文件，以及，binlog文件存储的位置logpos；

建立binlog监听机制，监听风控系统中的目标属性信息数据，所述目标属性信息数据为与所述logfile具有相同文件名的属性信息数据；

若所述目标属性信息数据更新，记录更新的数据；

用所述更新的数据替换所述binlog列表中的binlog文件，生成更新数据。

可选择的，所述将更新数据通过消息总线发送至相应的业务端的步骤包括：

根据所述更新数据的更新类型，调用目标kafka连接接口，所述更新类型包括：数据的更新，数据的删除，以及数据的插入；

根据所述目标kafka连接接口与业务端之间的订阅关系，确定数据接收业务端；

发送所述更新数据至数据接收业务端。

可选择的，所述将更新数据通过消息总线发送至相应的业务端的步骤包括：

根据所述更新数据的logfile，调用kafka连接接口；

根据所述目标kafka连接接口与业务端之间的订阅关系，确定数据接收业务端；

发送所述更新数据至数据接收业务端。

可选择的，所述将更新数据通过消息总线发送至相应的业务端的步骤包括：

确定所述更新数据的数据类型；

如果所述数据类型为申请信息，发送资方审核业务端，监听资方审核业务端的数据库；

若所述资方审核业务端的数据库写入审核结果数据，通过关系网发送所述审核结果数据至相应的业务端。

本申请实施例第二方面示出一种数据同步装置，所述装置包括：

更新数据生成单元，用于建立binlog监听机制，监听风控系统中的属性信息数据，若所述属性信息数据更新，生成更新数据；

发送单元，用于将所述更新数据通过消息总线发送至相应的业务端。

可选择的，所述更新数据生成单元包括：

筛选单元，用于根据业务端构建风控模型涉及的业务数据，筛选历史数据，构建binlog列表，binlog列表包括：binlog文件名logfile，binlog文件，以及，binlog文件存储的位置logpos；

建立单元，用于建立binlog监听机制，监听风控系统中的目标属性信息数据，所述目标属性信息数据为与所述logfile具有相同文件名的属性信息数据；

记录单元，用于若所述目标属性信息数据更新，记录更新的数据；

更新数据生成子单元，用于用所述更新的数据替换所述binlog列表中的binlog文件，生成更新数据。

可选择的，所述发送单元包括：

第一调用单元，用于根据所述更新数据的更新类型，调用目标kafka连接接口，所述更新类型包括：数据的更新，数据的删除，以及数据的插入；

第一确定单元，用于根据所述目标kafka连接接口与业务端之间的订阅关系，确定数据接收业务端；

第一发送子单元，用于发送所述更新数据至数据接收业务端。

可选择的，所述发送单元包括：

第二调用单元，用于根据所述更新数据的logfile，调用kafka连接接口；

第二确定单元，用于根据所述目标kafka连接接口与业务端之间的订阅关系，确定数据接收业务端；

第二发送子单元，用于发送所述更新数据至数据接收业务端。

可选择的，所述发送单元包括：

第三确定单元，用于确定所述更新数据的数据类型；

监听单元，用于如果所述数据类型为申请信息，发送资方审核业务端，监听资方审核业务端的数据库；

第三发送子单元，用于若所述资方审核业务端的数据库写入审核结果数据，通过关系网发送所述审核结果数据至相应的业务端。

本申请实施例第三方面示出一种数据同步系统，所述系统包括：

应用平台服务器，与所述应用平台服务器相连接的数据存储服务器，所述数据存储服务器设置在所述平台服务器内部或独立设置，所述应用平台服务器通过互联网与业务端相连接；

所述业务端，风控模型的构建；

所述应用平台服务器，用于实现本申请实施例示出的方法；

所述数据存储服务器，用于相关数据的存储由以上技术方案可知，本申请实施例示出一种数据同步方法，装置及系统，所述方法包括：建立binlog监听机制，监听风控系统中的属性信息数据，若所述属性信息数据更新，生成更新数据；将所述更新数据通过消息总线发送至相应的业务端。可见本申请实施例示出的方法，在确定更新数据的同时主动将项发送至业务端，然后业务端根据更新数据中数据，对风控模型进行更新，进而，保证风控模型的数据与实时数据的一致性，整个风控系统数据的同步，当应用平台服务器获知实时数据发生更新时生成更新数据，直接以通知的形式将更新数据发送业务端，业务端在接收到更新数据后，对更新数据中的数据进行后续的处理。整个数据传递的过程，数据存在更新，便立即产生数据的传递，整个过程流畅。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1-1为根据一优选实施例示出的一种数据同步系统的结构框图；

图1-2为根据一优选实施例示出的一种数据同步系统的结构框图；

图2为根据一优选实施例示出的一种数据同步系统的应用场景图；

图3为根据一优选实施例示出的一种数据同步系统的应用场景图；

图4为根据一优选实施例示出的一种数据同步方法的流程图；

图5为根据一优选实施例示出的步骤S101的详细流程图；

图6为根据一优选实施例示出的步骤S102的详细流程图；

图7为根据又一优选实施例示出的步骤S102的详细流程图；

图8为根据再一优选实施例示出的步骤S102的详细流程图；

图9为根据一优选实施例示出的一种数据同步装置的结构框图；

图10为根据一优选实施例示出的一种服务器的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

请参阅图1-1，以及，图1-2；本申请实施例第一方面示出一种数据同步系统，所述系统包括：

应用平台服务器31，与所述应用平台服务器31相连接的数据存储服务器32，所述数据存储服务器32设置在所述平台服务器31内部或独立设置，所述应用平台服务器31通过互联网与业务端33相连接；

所述业务端33，用于风控模型的构建；

整个风控系统涉及多个业务端，每个业务端，根据自身业务的需求，采用相应的业务数据构建风控模型。

首先，应用平台服务器，根据业务端构建风控模型涉及的业务数据，对历史数据进行筛选，根据筛选结果，构建binlog列表，所述binlog列表包括：binlog文件名logfile，binlog文件，以及，binlog文件存储的位置logpos；

在数据监听的过程中，仅需针对构建binlog列表已存储的数据进行监听，即使前端写入应用平台服务器的接口增多，也不会给应用平台服务器带来额外的数据处理量，在一定程度上，提高了系统的带宽，以及，资源的利用率。

本申请实施例示出的应用平台服务器31，预先将历史数据，以binlog列表的形式进行存储；

binlog列表中存储有binlog文件名logfile，binlog文件，以及，binlog文件存储的位置logpos；

其中所述logfile用于记录文件名，通常根据文件名称可以确定与所述文件名相对应的kafka连接接口；

通过kafka连接接口，将更新数据传输至相应的数据接收业务端。

当某一文件名对应的文件发生更新，所述更新包括，修改，删除，以及增加，应用平台服务器调用所述文件名对应的kafka连接接口，将相应的更新数据传输至相应的业务端。

本申请实施例示出的系统，应用平台服务器，实时的对数据进行监听；当数据发生更新时，首先生成更新数据，所述更新数据可以为更新后的binlog列表；

也可以是binlog列表发生更新的数据；在确定更新数据后主动的将更新数据发送至业务端。

所述数据存储服务器32，用于相关数据的存储。

综上，本申请实施例示出的系统，应用平台服务器预先将历史数据，生成binlog列表，获取实时数据，通过实时数据与binlog列表的比对，确定更新数据，所述更新数据包括：数据的更新，插入，以及，删除，然后将更新数据发送至业务端。可见本申请实施例示出的方法，在确定更新数据的同时主动将项发送至业务端，然后业务端根据更新数据中数据，对风控模型进行更新，进而，保证风控模型的数据与实时数据的一致性，整个风控系统数据的同步。

实施例2：

请参阅图2，图2为本申请实施例示出的一个具体事例的应用场景图；用户申请贷款时的过风控的流程，用户在申请贷款时会先把待审核信息发送给外部资方接口进行审核，业务端定期的从外部资数据库中获取审核结果，这个环节的过程是异步完成的既不能在一次请求中把所有步骤都完成。

采用本申请实施例示出的系统，外部资方的应用平台服务器，实时的获取用户的申请资料，并将申请资料写入应用平台服务器内部的数据存储服务器，binlog监听：在数据存储服务器中增加的SQL操作记录到binlog中后，会自动把这些信息发送给有外部资方接口进行审核，binlog监听外部资方的数据存储服务器，当外部资方完成申请资料的审核，并将审核结果写入外部资方的数据存储服务器，此时外部资方的数据存储服务器发生数据的增加，将增加的数据(审核结果)写入binlog中，然后将审核结果发送至相应的业务端。

可见采用本申请实施例示出的系统，业务端可以在资方返回结果写入数据库后马上得到数据并进行下一个环节的操作。保证风控模型的数据与实时数据的一致性，以及，整个风控系统数据的同步。

实施例3：

请参阅图3，图3为本申请实施例示出的一个具体事例的应用场景图；图3是风控模型和关系网实时收集数据的流程，除了实时收集数据以外，从图3可见前端的数据写入数据库的入口会很多，而且还会在后续不断的增加入口点。

采用本申请实施例示出的方案，仅需对binlog列表中存在的数据进行监控，对于前面的入口以及增加多少入口点都不需要增加任何代码。

可见本申请实施例示出的方法，数据库中的数据一旦更新能够即可将相应的更新数据传递至业务端，实现数据的同步，对于时效性很高的数据处理延迟响应时间在毫秒级别。

在数据收集方面，数据的写入点会很多而且后面还会不断增加，如果在代码中增加数据收集代码的话维护非常的麻烦。数据都是最终都会写入到数据库中，对数据库进行监听就完全不用在各个入口增加代码，非常方便维护。

实施例4：

请参阅图4，本申请实施例第二方面示出一种数据同步方法，所述方法包括：

S101建立binlog监听机制，监听风控系统中的属性信息数据，若所述属性信息数据更新，生成更新数据；

首先，历史数据(属性信息数据)存储于数据库中，binlog监听机制，在数据库的增删改的SQL操作记录到binlog中后，会自动把这些信息发送给有需要的服务来做相应的处理；

binlog是一个二进制格式的文件，用于记录用户对数据库更新的SQL语句信息，如增删改相关的操作都会记录到binlog中。

S102将所述更新数据通过消息总线发送至相应的业务端。

可见本申请实施例示出的方法，在确定更新数据的同时主动将项发送至业务端，然后业务端根据更新数据中数据，对风控模型进行更新，进而，保证风控模型的数据与实时数据的一致性，整个风控系统数据的同步，当应用平台服务器获知实时数据发生更新时生成更新数据，直接以通知的形式将更新数据发送业务端，业务端在接收到更新数据后，对更新数据中的数据进行后续的处理。整个数据传递的过程，数据存在更新，便立即产生数据的传递，整个过程流畅。

实施例5：

在实时数据收集方面，实时数据的写入点会很多，而且后面还会不断增加，如果在代码中增加数据收集代码的话维护非常的麻烦。为了解决上述问题本申请实施例示出的方法示出一种数据的监听方法，所述数据的监听方法只针对发生更新的数据，具体的，请参阅图5：

实施例5与实施例4示出的技术方案具有相似的步骤，唯一的区别在于实施例4示出的技术方案中，所述建立binlog监听机制，监听风控系统中的属性信息数据的步骤包括：

S10111根据业务端构建风控模型涉及的业务数据，筛选历史数据，构建binlog列表，binlog列表包括：binlog文件名logfile，binlog文件，以及，binlog文件存储的位置logpos；

预先将历史数据，以binlog列表的形式进行存储；

根据业务端构建风控模型涉及的业务数据，对历史数据进行筛选，根据筛选结果，构建binlog列表，

例如：构建风控模型涉及的业务数据为业务数据1,2,3,4,5,6,7,8,910则binlog列表中包括业务数据1,2,3,4,5,6,7,8,910；

binlog列表中存储有binlog文件名logfile，binlog文件，以及，binlog文件存储的位置logpos；

其中，所述logfile用于记录文件名，通常根据文件名称可以确定与所述文件名相对应的kafka连接接口；

Logpos，用于记录文件存储的位置；

S10112建立binlog监听机制，监听风控系统中的目标属性信息数据，所述目标属性信息数据为与所述logfile具有相同文件名的属性信息数据；

本申请实施例示出的技术方案只针对与binlog列表中logfile具有相同文件名的属性信息数据进行监听，对于非目标属性信息数据，即使发生了数据的更新，也不会记录在binlog中。

本申请实施例示出的方法首先根据binlog列表中已存储的数据，来确定待监控的数据。

例如对于一binlog列表。列表中已存储的数据分别为，贷款记录，logfile-1；还款信用，logfile-2；拖欠记录，logfile-3；

在实时数据获取的过程中，仅针对贷款记录，logfile-1；还款信用，logfile-2；拖欠记录，logfile-3，几项数据进行监控即可。

S10113若所述目标属性信息数据更新，记录更新的数据；

所述目标属性信息数据更新包括：目标属性信息数据的删除，目标属性信息数据的插入，目标属性信息数据替换。

S10114用所述更新的数据替换所述binlog列表中的binlog文件，生成更新数据。

本申请实施例示出的技术方案，仅针对数据binlog列表中的数据进行监听，即使前端产生大量的实施例数据，也只针对binlog列表中的数据进行监听，数据最终都会写入到数据库(binlog列表)中，对实时数据进行监听就完全不用在各个入口增加代码，非常方便维护。

实施例6：

在风控系统中，多个业务端共用一个数据库，数据库中的历史数据通过binlog列表存储，通常在binlog列表发生变化时，直接将变更后的binlog列表发送至业务端，然后业务端根据自身构建的风控模型，判断构建自己风控模型所需的属性信息数据是否发生更新，考虑是否重建风控模型或更新风控模型中的数据，在binlog列表发生变化时，便直接将更新后的binlog列表发送至业务端，将会导致业务端的服务器被频繁的调用，占用过多的系统的资源的利用率，降低了系统的带宽，对数据的同步产生一定的影响，为了解决上述问题，本申请实施例实施例示出应用平台服务器与业务端的连接方式，具体的，请参阅图6：

实施例6与实施例4或实施例5示出的技术方案具有相似的步骤，唯一的区别在于实施例4或实施例5示出的技术方案中，所述将更新数据通过消息总线发送至相应的业务端的步骤包括：

S10211根据所述更新数据的更新类型，调用目标kafka连接接口，所述更新类型包括：数据的更新，数据的删除，以及数据的插入；

其中，所述更新类型包括：数据的更新，数据的删除，以及数据的插入；

通常每个业务端关注的数据更新类型不同。本申请实施例示出的技术方案设置多个kafka连接接口，每个kafka连接接口对应一种更新类型，例如，kafka连接接口-1对应数据的插入，当确定更新数据的更新类型为数据的插入时，调用kafka连接接口-1；

S10212根据所述目标kafka连接接口与业务端之间的订阅关系，确定数据接收业务端；

关注数据插入的业务端与上述kafka连接接口-1，预先设置业务端与kafka连接接口的订阅关系；

连通与所述kafka连接接口存在订阅关系的业务端的数据传输通道。

S10213发送所述更新数据至数据接收业务端。

可见本申请实施例示出的技术方案，预定根据业务端关注的数据更新类型，设置业务端与kafka连接接口的订阅关系；当数据库中有数据发送更新时，首先确定更新数据的更新类型，然后根据所述更新类型调用所述更新类型对应的kafka连接接口，根据业务端与kafka连接接口订阅关系，将更新数据发送至于所述kafka连接接口存在订阅关系的数据接收业务端；

可见本申请实施例示出的技术方案，可根据业务端关注的更新类型，有针对性的向业务端发送更新数据，避免了对业务端服务器的频繁调用，减少了系统的资源的占用，提高了系统的带宽，以及资源的利用，进而提高了数据的传输效率，保证了风控系统的数据的同步。

实施例7：

在风控系统中，多个业务端共用一个数据库，数据库中的历史数据通过binlog列表存储，通常在binlog列表发生变化时，直接将变更后的binlog列表发送至业务端，然后业务端根据自身构建的风控模型，判断构建自己风控模型所需的属性信息数据是否发生更新，考虑是否重建或更新风控模型中的数据，在binlog列表发生变化时，便直接将更新后的binlog列表发送至业务端，将会导致业务端的服务器被频繁的调用，占用过多的系统的资源的利用率，降低了系统的带宽，对数据的同步产生一定的影响，为了解决上述问题，本申请实施例实施例示出应用平台服务器与业务端的连接方式，具体的，请参阅图7：

实施例7与实施例4或实施例5示出的技术方案具有相似的步骤，唯一的区别在于实施例4或实施例5示出的技术方案中，所述将更新数据通过消息总线发送至相应的业务端的步骤包括：

S10221根据所述更新数据的logfile，调用kafka连接接口；

通常每个业务端关注的logfile不同。本申请实施例示出的技术方案设置多个kafka连接接口，每个kafka连接接口对应一种logfile，例如，kafka连接接口-1对应logfile-1，当确定更新数据的更新类型为数据的插入时，调用kafka连接接口-1；

S10222根据所述目标kafka连接接口与业务端之间的订阅关系，确定数据接收业务端；

关注logfile-1数据变化的业务端与上述kafka连接接口-1，预先设置业务端与kafka连接接口的订阅关系；

连通与所述kafka连接接口存在订阅关系的业务端的数据传输通道。

S10223发送所述更新数据至数据接收业务端。

可见本申请实施例示出的技术方案，可根据业务端关注的logfile，有针对性的向业务端发送更新数据，避免了对业务端服务器的频繁调用，减少了系统的资源的占用，提高了系统的带宽，以及资源的利用，进而提高了数据的传输效率，保证了风控系统的数据的同步。

实施例8：

请参阅图8，实施例8与实施例4或实施例5示出的技术方案具有相似的步骤，唯一的区别在于实施例4或实施例5示出的技术方案中，所述将更新数据通过消息总线发送至相应的业务端的步骤包括：

S10231确定所述更新数据的数据类型；

通常可以根据更新数据的来源，确定更新数据的数据类型；

S10232如果所述数据类型为申请信息，发送资方审核业务端，监听资方审核业务端的数据库；

S10233若所述资方审核业务端的数据库写入审核结果数据，通过关系网发送所述审核结果数据至相应的业务端；

例如，更新数据的来源为贷款申请APP；则可确定所述更新数据的类型为申请信息；外部资方的应用平台服务器，实时的获取用户的申请资料，确定所述申请资料的数据类型为申请信息，并将申请资料写入应用平台服务器内部的数据存储服务器，binlog监听：在数据存储服务器中增加的SQL操作记录到binlog中后，会自动把这些信息发送给有外部资方接口进行审核，binlog监听外部资方的数据存储服务器，当外部资方完成申请资料的审核，并将审核结果写入外部资方的数据存储服务器，此时外部资方的数据存储服务器发生数据的增加，将增加的数据(审核结果)写入binlog中，然后将审核结果发送至相应的业务端。

可见采用本申请实施例示出的系统，业务端可以在资方返回结果写入数据库后马上得到数据并进行下一个环节的操作。保证风控模型的数据与实时数据的一致性，以及，整个风控系统数据的同步。

实施例9：

请参阅图9：

本申请实施例第三方面示出一种数据同步装置，所述装置包括：

更新数据生成单元21，用于建立binlog监听机制，监听风控系统中的属性信息数据，若所述属性信息数据更新，生成更新数据；

发送单元22，用于将所述更新数据通过消息总线发送至相应的业务端。

可选择的，所述更新数据生成单元包括：

筛选单元，用于根据业务端构建风控模型涉及的业务数据，筛选历史数据，构建binlog列表，binlog列表包括：binlog文件名logfile，binlog文件，以及，binlog文件存储的位置logpos；

建立单元，用于建立binlog监听机制，监听风控系统中的目标属性信息数据，所述目标属性信息数据为与所述logfile具有相同文件名的属性信息数据；

记录单元，用于若所述目标属性信息数据更新，记录更新的数据；

更新数据生成子单元，用于用所述更新的数据替换所述binlog列表中的binlog文件，生成更新数据。

可选择的，所述发送单元包括：

第一调用单元，用于根据所述更新数据的更新类型，调用目标kafka连接接口，所述更新类型包括：数据的更新，数据的删除，以及数据的插入；

第一确定单元，用于根据所述目标kafka连接接口与业务端之间的订阅关系，确定数据接收业务端；

第一发送子单元，用于发送所述更新数据至数据接收业务端。

可选择的，所述发送单元包括：

第二调用单元，用于根据所述更新数据的logfile，调用kafka连接接口；

第二确定单元，用于根据所述目标kafka连接接口与业务端之间的订阅关系，确定数据接收业务端；

第二发送子单元，用于发送所述更新数据至数据接收业务端。

可选择的，所述发送单元包括：

第三确定单元，用于确定所述更新数据的数据类型；

监听单元，用于如果所述数据类型为申请信息，发送资方审核业务端，监听资方审核业务端的数据库；

第三发送子单元，用于若所述资方审核业务端的数据库写入审核结果数据，通过关系网发送所述审核结果数据至相应的业务端实施例10：

请参阅图10，本申请实施例第四方面示出一种服务器，包括：

一个或多个处理器41；

存储器42，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器41执行，使得所述一个或多个处理器41实现本申请实施例实处的方法

由以上技术方案可知，本申请实施例示出一种数据同步方法，装置及系统，所述方法包括：建立binlog监听机制，监听风控系统中的属性信息数据，若所述属性信息数据更新，生成更新数据；将所述更新数据通过消息总线发送至相应的业务端。可见本申请实施例示出的方法，在确定更新数据的同时主动将项发送至业务端，然后业务端根据更新数据中数据，对风控模型进行更新，进而，保证风控模型的数据与实时数据的一致性，整个风控系统数据的同步，当应用平台服务器获知实时数据发生更新时生成更新数据，直接以通知的形式将更新数据发送业务端，业务端在接收到更新数据后，对更新数据中的数据进行后续的处理。整个数据传递的过程，数据存在更新，便立即产生数据的传递，整个过程流畅。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

值得注意的是，具体实现中，本申请还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本申请提供的用户身份的服务提供方法或用户注册方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random accessmemory，简称：RAM)等。

本领域的技术人员可以清楚地了解到本申请实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于用户身份的服务提供装置或用户注册装置的实施例而言，由于其基本相似于方法实施例，所以描述的比对简单，相关之处参见方法实施例中的说明即可。

以上所述的本申请实施方式并不构成对本申请保护范围的限定。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性更新，这些变型、用途或者适应性更新遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

Claims (11)

1.一种数据同步方法，其特征在于，所述方法包括：

建立binlog监听机制，监听风控系统中的属性信息数据，若所述属性信息数据更新，生成更新数据；

将所述更新数据通过消息总线发送至相应的业务端。

2.根据权利要求1所述的方法，其特征在于，所述建立binlog监听机制，监听风控系统中的属性信息数据的步骤包括：

根据业务端构建风控模型涉及的业务数据，筛选历史数据，构建binlog列表，binlog列表包括：binlog文件名logfile，binlog文件，以及，binlog文件存储的位置logpos；

建立binlog监听机制，监听风控系统中的目标属性信息数据，所述目标属性信息数据为与所述logfile具有相同文件名的属性信息数据；

若所述目标属性信息数据更新，记录更新的数据；

用所述更新的数据替换所述binlog列表中的binlog文件，生成更新数据。

3.根据权利要求1或2所述的方法，其特征在于，所述将更新数据通过消息总线发送至相应的业务端的步骤包括：

根据所述更新数据的更新类型，调用目标kafka连接接口，所述更新类型包括：数据的更新，数据的删除，以及数据的插入；

根据所述目标kafka连接接口与业务端之间的订阅关系，确定数据接收业务端；

发送所述更新数据至数据接收业务端。

4.根据权利要求2所述的方法，其特征在于，所述将更新数据通过消息总线发送至相应的业务端的步骤包括：

根据所述更新数据的logfile，调用kafka连接接口；

根据所述目标kafka连接接口与业务端之间的订阅关系，确定数据接收业务端；

发送所述更新数据至数据接收业务端。

5.根据权利要求2所述的方法，其特征在于，所述将更新数据通过消息总线发送至相应的业务端的步骤包括：

确定所述更新数据的数据类型；

如果所述数据类型为申请信息，发送资方审核业务端，监听资方审核业务端的数据库；

若所述资方审核业务端的数据库写入审核结果数据，通过关系网发送所述审核结果数据至相应的业务端。

6.一种数据同步装置，其特征在于，所述装置包括：

更新数据生成单元，用于建立binlog监听机制，监听风控系统中的属性信息数据，若所述属性信息数据更新，生成更新数据；

发送单元，用于将所述更新数据通过消息总线发送至相应的业务端。

7.根据权利要求6所述的装置，其特征在于，所述更新数据生成单元包括：

筛选单元，用于根据业务端构建风控模型涉及的业务数据，筛选历史数据，构建binlog列表，binlog列表包括：binlog文件名logfile，binlog文件，以及，binlog文件存储的位置logpos；

建立单元，用于建立binlog监听机制，监听风控系统中的目标属性信息数据，所述目标属性信息数据为与所述logfile具有相同文件名的属性信息数据；

记录单元，用于若所述目标属性信息数据更新，记录更新的数据；

更新数据生成子单元，用于用所述更新的数据替换所述binlog列表中的binlog文件，生成更新数据。

8.根据权利要求6或7所述的装置，其特征在于，所述发送单元包括：

第一调用单元，用于根据所述更新数据的更新类型，调用目标kafka连接接口，所述更新类型包括：数据的更新，数据的删除，以及数据的插入；

第一确定单元，用于根据所述目标kafka连接接口与业务端之间的订阅关系，确定数据接收业务端；

第一发送子单元，用于发送所述更新数据至数据接收业务端。

9.根据权利要求7所述的装置，其特征在于，所述发送单元包括：

第二调用单元，用于根据所述更新数据的logfile，调用kafka连接接口；

第二确定单元，用于根据所述目标kafka连接接口与业务端之间的订阅关系，确定数据接收业务端；

第二发送子单元，用于发送所述更新数据至数据接收业务端。

10.根据权利要求6或7所述的装置，其特征在于，所述发送单元包括：

第三确定单元，用于确定所述更新数据的数据类型；

监听单元，用于如果所述数据类型为申请信息，发送资方审核业务端，监听资方审核业务端的数据库；

第三发送子单元，用于若所述资方审核业务端的数据库写入审核结果数据，通过关系网发送所述审核结果数据至相应的业务端。

11.一种数据同步系统，其特征在于，所述系统包括：

应用平台服务器，与所述应用平台服务器相连接的数据存储服务器，所述数据存储服务器设置在所述平台服务器内部或独立设置，所述应用平台服务器通过互联网与业务端相连接；

所述业务端，风控模型的构建；

所述应用平台服务器，用于实现权利要求1-5任一项所述的方法；

所述数据存储服务器，用于相关数据的存储。

Images