CN109582736A - 贷款业务名单表的同步方法、装置和计算机设备 - Google Patents
贷款业务名单表的同步方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN109582736A CN109582736A CN201811397196.7A CN201811397196A CN109582736A CN 109582736 A CN109582736 A CN 109582736A CN 201811397196 A CN201811397196 A CN 201811397196A CN 109582736 A CN109582736 A CN 109582736A
- Authority
- CN
- China
- Prior art keywords
- database
- list table
- customer
- full dose
- loan transaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013507 mapping Methods 0.000 claims abstract description 52
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000011161 development Methods 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000005291 magnetic effect Effects 0.000 description 6
- 230000004927 fusion Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 241000233805 Phoenix Species 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/03—Credit; Loans; Processing thereof
Abstract
本申请提出了一种贷款业务名单表的同步方法、装置和计算机设备，其中，上述贷款业务名单表的同步方法包括：将全量数据库中保存的预定时刻之前的贷款业务名单表的数据同步到第一数据库中；搭建所述全量数据库与第二数据库之间的数据同步链路；通过所述数据同步链路，将所述全量数据库中保存的预定时刻之后至当前时刻的贷款业务名单表的数据同步到所述第二数据库中；将所述第二数据库映射到所述第一数据库中，获得所述贷款业务的全量名单表。本申请可以实现对贷款业务的名单表进行全量准实时同步，实现简单，并且降低了名单表全量准实时同步的开发工作量。
Description
【技术领域】
本申请涉及数据处理技术领域，尤其涉及一种贷款业务名单表的同步方法、装置和计算机设备。
【背景技术】
贷款业务的报表大部分是离线数据，当天展示前一天的数据。随着业务前端的放款活动的不断开展，越来越多的销售及领导希望准实时地(例如：每小时一次)了解当前名单的放款情况，各个城市的放款金额排行榜等情况，传统的离线模式显然满足不了这个要求。
相关技术中实施的准实时方案只能支持一个名单表的同步，而且，数据丢失后重复消费容易出问题，加上报表层面的业务口径非常复杂，解析文本字段再翻译成对应的结构化查询语言(Structured Query Language；以下简称：SQL)逻辑太复杂，开发工作量大，并且测试场景的覆盖不够全面，不易扩展。前期研究的基于hbase+goldengate+phoneix方案在面对大表关联的时候，由于单机模式的设计，会导致内存时效的异常。
【发明内容】
本申请实施例提供了一种贷款业务名单表的同步方法、装置和计算机设备，以实现对贷款业务的名单表进行全量准实时同步，实现简单，并且降低了名单表全量准实时同步的开发工作量。
第一方面，本申请实施例提供了一种贷款业务名单表的同步方法，包括：将全量数据库中保存的预定时刻之前的贷款业务名单表的数据同步到第一数据库中；搭建所述全量数据库与第二数据库之间的数据同步链路；通过所述数据同步链路，将所述全量数据库中保存的预定时刻之后至当前时刻的贷款业务名单表的数据实时同步到所述第二数据库中；将所述第二数据库映射到所述第一数据库中，获得所述贷款业务的全量名单表。
其中在一种可能的实施方式中，所述贷款业务名单表包括所述贷款业务已放款的名单表；所述全量名单表包括所述贷款业务已放款的全量名单表；所述将所述第二数据库映射到所述第一数据库中，获得所述贷款业务的全量名单表之后，还包括：根据待抽取的客户标识，从所述贷款业务已放款的全量名单表中抽取所述客户标识对应的表项，获得所述客户标识对应的已放款业务报表；根据所述客户标识对应的已放款业务报表，统计获得所述客户标识对应客户的已放款业务量、所述客户标识所在名单表对应的池号、所述客户标识对应客户所在的区域和城市。
其中在一种可能的实施方式中，所述贷款业务名单表包括所述贷款业务未放款的名单表；所述全量名单表包括所述贷款业务未放款的全量名单表；所述将所述第二数据库映射到所述第一数据库中，获得所述贷款业务的全量名单表之后，还包括：根据待抽取的客户标识，从所述贷款业务未放款的全量名单表中抽取所述客户标识对应的表项，获得所述客户标识对应的未放款业务报表；根据所述客户标识对应的未放款业务报表，统计获得所述客户标识对应客户的未放款业务量、所述客户标识所在名单表对应的池号、所述客户标识对应客户所在的区域和城市。
其中在一种可能的实施方式中，所述贷款业务名单表包括所述贷款业务已放款的名单表和所述贷款业务未放款的名单表；所述全量名单表包括所述贷款业务已放款和未放款的全量名单表；所述将所述第二数据库映射到所述第一数据库中，获得所述贷款业务的全量名单表之后，还包括：根据待抽取的客户标识，从所述贷款业务已放款和未放款的全量名单表中抽取所述客户标识对应的表项，获得所述客户标识对应的已放款业务报表和未放款业务报表；对所述客户标识对应的已放款业务报表和未放款业务报表进行融合，获得所述客户标识对应的业务报表；根据所述客户标识对应的业务报表，统计获得所述客户标识对应客户的已放款业务量、未放款业务量、所述客户标识所在名单表对应的池号、所述客户标识对应客户所在的区域和城市。
其中在一种可能的实施方式中，所述搭建所述全量数据库与第二数据库之间的数据同步链路包括：根据所述全量数据库的信息、所述全量数据库中待同步的贷款业务名单表的表名和所述待同步的贷款业务名单表中待同步的字段，以及所述第二数据库的地址和每次待同步的数据量，配置所述全量数据库与所述第二数据库之间的数据同步链路，以完成所述全量数据库与所述第二数据库之间的数据同步链路的搭建。
其中在一种可能的实施方式中，所述第一数据库为结构化数据库，所述第二数据库为分布式开源数据库；所述将所述第二数据库映射到所述第一数据库中包括：通过所述第二数据库对外的应用程序接口与所述第一数据库对外的应用程序接口进行通信，以将所述第二数据库映射到所述第一数据库中。
第二方面，本申请实施例还提供一种贷款业务名单表的同步装置，包括：同步模块，用于将全量数据库中保存的预定时刻之前的贷款业务名单表的数据同步到第一数据库中；搭建模块，用于搭建所述全量数据库与第二数据库之间的数据同步链路；所述同步模块，还用于通过所述数据同步链路，将所述全量数据库中保存的预定时刻之后至当前时刻的贷款业务名单表的数据实时同步到所述第二数据库中；映射模块，用于将所述第二数据库映射到所述第一数据库中，获得所述贷款业务的全量名单表。
其中在一种可能的实施方式中，所述贷款业务名单表包括所述贷款业务已放款的名单表；所述全量名单表包括所述贷款业务已放款的全量名单表；所述装置还包括：抽取模块，用于在所述映射模块将所述第二数据库映射到所述第一数据库中，获得所述贷款业务的全量名单表之后，根据待抽取的客户标识，从所述贷款业务已放款的全量名单表中抽取所述客户标识对应的表项，获得所述客户标识对应的已放款业务报表；统计模块，用于根据所述抽取模块获得的所述客户标识对应的已放款业务报表，统计获得所述客户标识对应客户的已放款业务量、所述客户标识所在名单表对应的池号、所述客户标识对应客户所在的区域和城市。
其中在一种可能的实施方式中，所述贷款业务名单表包括所述贷款业务未放款的名单表；所述全量名单表包括所述贷款业务未放款的全量名单表；所述装置还包括：抽取模块，用于在所述映射模块将所述第二数据库映射到所述第一数据库中，获得所述贷款业务的全量名单表之后，根据待抽取的客户标识，从所述贷款业务未放款的全量名单表中抽取所述客户标识对应的表项，获得所述客户标识对应的未放款业务报表；统计模块，用于根据所述抽取模块获得的所述客户标识对应的未放款业务报表，统计获得所述客户标识对应客户的未放款业务量、所述客户标识所在名单表对应的池号、所述客户标识对应客户所在的区域和城市。
其中在一种可能的实施方式中，所述贷款业务名单表包括所述贷款业务已放款的名单表和所述贷款业务未放款的名单表；所述全量名单表包括所述贷款业务已放款和未放款的全量名单表；所述装置还包括：抽取模块，用于在所述映射模块将所述第二数据库映射到所述第一数据库中，获得所述贷款业务的全量名单表之后，根据待抽取的客户标识，从所述贷款业务已放款和未放款的全量名单表中抽取所述客户标识对应的表项，获得所述客户标识对应的已放款业务报表和未放款业务报表；融合模块，用于对所述抽取模块获得的所述客户标识对应的已放款业务报表和未放款业务报表进行融合，获得所述客户标识对应的业务报表；统计模块，用于根据所述融合模块获得的所述客户标识对应的业务报表，统计获得所述客户标识对应客户的已放款业务量、未放款业务量、所述客户标识所在名单表对应的池号、所述客户标识对应客户所在的区域和城市。
其中在一种可能的实施方式中，所述搭建模块，具体用于根据所述全量数据库的信息、所述全量数据库中待同步的贷款业务名单表的表名和所述待同步的贷款业务名单表中待同步的字段，以及所述第二数据库的地址和每次待同步的数据量，配置所述全量数据库与所述第二数据库之间的数据同步链路，以完成所述全量数据库与所述第二数据库之间的数据同步链路的搭建。
其中在一种可能的实施方式中，所述第一数据库为结构化数据库，所述第二数据库为分布式开源数据库；所述映射模块，具体用于通过所述第二数据库对外的应用程序接口与所述第一数据库对外的应用程序接口进行通信，以将所述第二数据库映射到所述第一数据库中。
第三方面，本申请实施例提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的方法。
第四方面，本申请实施例提供一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
以上技术方案中，将全量数据库中保存的预定时刻之前的贷款业务名单表的数据同步到第一数据库中，然后搭建全量数据库与第二数据库之间的数据同步链路，通过上述数据同步链路，将上述全量数据库中保存的预定时刻之后至当前时刻的贷款业务名单表的数据实时同步到上述第二数据库中，最后将上述第二数据库映射到第一数据库中，获得上述贷款业务的全量名单表，从而可以实现对贷款业务的名单表进行全量准实时同步，实现简单，并且降低了名单表全量准实时同步的开发工作量。
【附图说明】
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本申请贷款业务名单表的同步方法一个实施例的流程图；
图2为本申请贷款业务名单表的同步方法另一个实施例的流程图；
图3为本申请贷款业务名单表的同步方法再一个实施例的流程图；
图4为本申请贷款业务名单表的同步方法再一个实施例的流程图；
图5为本申请贷款业务名单表的同步方法再一个实施例的流程图；
图6为本申请贷款业务名单表的同步装置一个实施例的结构示意图；
图7为本申请贷款业务名单表的同步装置另一个实施例的结构示意图；
图8为本申请计算机设备一个实施例的结构示意图。
【具体实施方式】
为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。
应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
图1为本申请贷款业务名单表的同步方法一个实施例的流程图，如图1所示，上述贷款业务名单表的同步方法可以包括：
步骤101，将全量数据库中保存的预定时刻之前的贷款业务名单表的数据同步到第一数据库中。
其中，上述预定时刻可以在具体实现时根据系统性能和/或实现需求等自行设定，本实施例对此不作限定，举例来说，上述预定时刻可以为每天凌晨1点。
本实施例中，上述数据库可以为Oracle数据库等关系型数据库，上述数据库中保存贷款业务的源端数据；上述第一数据库可以看作离线大数据平台。
在具体实现时，将预定时刻之前的贷款业务名单表的数据同步到第一数据库可以采用sqoop同步，sqoop是一款开源的工具，主要用于在hive与传统的数据库(mysql、postgresql或Oracle)之间进行数据的传递，可以将一个关系型数据库(例如：mysql、Oracle或postgresql等)中的数据导进到hive中，也可以将hive的数据导进到关系型数据库中。
步骤102，搭建上述全量数据库与第二数据库之间的数据同步链路。
其中，上述数据同步链路可以为goldengate(以下简称：gg)链路。
具体地，搭建上述全量数据库与第二数据库之间的数据同步链路可以为：根据上述全量数据库的信息、上述全量数据库中待同步的贷款业务名单表的表名和上述待同步的贷款业务名单表中待同步的字段，以及第二数据库的地址和每次待同步的数据量，配置全量数据库与第二数据库之间的数据同步链路，以完成全量数据库与第二数据库之间的数据同步链路的搭建。
步骤103，通过上述数据同步链路，将上述全量数据库中保存的预定时刻之后至当前时刻的贷款业务名单表的数据同步到第二数据库中。
本实施例中，上述数据同步链路用于解决数据同步的问题，在搭建数据同步链路之后，即可通过上述数据同步链路，将上述数据库中保存的预定时刻之后至当前时刻的贷款业务名单表的数据同步到第二数据库中。
在具体实现时，可以按照预定的频率将上述全量数据库中保存的预定时刻之后至当前时刻的贷款业务名单表的数据同步到第二数据库中，其中，上述预定的频率可以在具体实现时，根据系统性能和/或实现需求等自行设定，本实施例对上述预定的频率不作限定，举例来说，上述预定的频率可以为1小时/1次；
或者，可以在接收到数据同步请求之后，将上述全量数据库中保存的预定时刻之后至当前时刻的贷款业务名单表的数据同步到第二数据库中。
由于本实施例中，并没有在数据发生更新的时候，立刻进行同步，而是按照预定的频率或者接收到数据同步请求之后，才将预定时刻之后至当前时刻的贷款业务名单表的数据同步到第二数据库中，因此本实施例中实现的数据同步是一种准实时的数据同步。
步骤104，将上述第二数据库映射到上述第一数据库中，获得上述贷款业务的全量名单表。
上述贷款业务名单表的同步方法中，将全量数据库中保存的预定时刻之前的贷款业务名单表的数据同步到第一数据库中，然后搭建全量数据库与第二数据库之间的数据同步链路，通过上述数据同步链路，将上述全量数据库中保存的预定时刻之后至当前时刻的贷款业务名单表的数据实时同步到第二数据库中，最后将上述第二数据库映射到第一数据库中，获得上述贷款业务的全量名单表，从而可以实现对贷款业务的名单表进行全量准实时同步，实现简单，并且降低了名单表全量准实时同步的开发工作量。
图2为本申请贷款业务名单表的同步方法另一个实施例的流程图，如图2所示，本申请图1所示实施例中，上述贷款业务名单表包括上述贷款业务已放款的名单表；上述全量名单表包括上述贷款业务已放款的全量名单表；这样步骤104之后，还可以包括：
步骤201，根据待抽取的客户标识，从上述贷款业务已放款的全量名单表中抽取上述客户标识对应的表项，获得上述客户标识对应的已放款业务报表。
其中，上述客户标识对应的已放款业务报表中的字段可以包括：上述客户标识对应客户的已放款业务量、上述客户标识所在名单表对应的池号、上述客户标识对应客户所在的区域和城市。其中，上述客户标识所在名单表对应的池号用于指示上述客户标识所在名单表的存储位置，本实施例中，上述名单表被保存在名单表池中，因此根据池号可以查找到相应的名单表。
具体地，可以根据待抽取的客户标识，按照预定频率从上述贷款业务已放款的全量名单表中抽取上述客户标识对应的表项，获得上述客户标识对应的已放款业务报表。其中，上述预定频率可以根据系统性能和/或实现需求等自行设定，本实施例对上述预定频率的大小不作限定，举例来说，上述预定频率可以为1小时/次。
步骤202，根据上述客户标识对应的已放款业务报表，统计获得上述客户标识对应客户的已放款业务量、上述客户标识所在名单表对应的池号、上述客户标识对应客户所在的区域和城市。
本实施例可以实现根据待抽取的客户标识，获得上述客户标识对应的已放款业务报表，实现了对贷款业务的已放款业务的名单表进行全量准实时同步，实现简单，并且降低了名单表全量准实时同步的开发工作量。进而根据上述客户标识对应的已放款业务报表，可以清楚地获知上述客户标识对应的客户的放款情况。
图3为本申请贷款业务名单表的同步方法再一个实施例的流程图，如图3所示，本申请图1所示实施例中，上述贷款业务名单表包括上述贷款业务未放款的名单表；上述全量名单表包括上述贷款业务未放款的全量名单表；这样步骤104之后，还可以包括：
步骤301，根据待抽取的客户标识，从上述贷款业务未放款的全量名单表中抽取上述客户标识对应的表项，获得上述客户标识对应的未放款业务报表。
其中，上述客户标识对应的未放款业务报表可以包括：上述客户标识对应客户的未放款业务量、上述客户标识所在名单表对应的池号、上述客户标识对应客户所在的区域和城市。其中，上述客户标识所在名单表对应的池号用于指示上述客户标识所在名单表的存储位置，本实施例中，上述名单表被保存在名单表池中，因此根据池号可以查找到相应的名单表。
具体地，可以根据待抽取的客户标识，按照预定频率从上述贷款业务未放款的全量名单表中抽取上述客户标识对应的表项，获得上述客户标识对应的未放款业务报表。其中，上述预定频率可以根据系统性能和/或实现需求等自行设定，本实施例对上述预定频率的大小不作限定，举例来说，上述预定频率可以为1小时/次。
步骤302，根据上述客户标识对应的未放款业务报表，统计获得上述客户标识对应客户的未放款业务量、上述客户标识所在名单表对应的池号、上述客户标识对应客户所在的区域和城市。
本实施例可以实现根据待抽取的客户标识，获得上述客户标识对应的未放款业务报表，实现了对贷款业务的未放款业务的名单表进行全量准实时同步，实现简单，并且降低了名单表全量准实时同步的开发工作量。进而根据上述客户标识对应的未放款业务报表，可以清楚地获知上述客户标识对应的客户的未放款情况。
图4为本申请贷款业务名单表的同步方法再一个实施例的流程图，如图4所示，本申请图1所示实施例中，上述贷款业务名单表包括上述贷款业务已放款的名单表和上述贷款业务未放款的名单表；上述全量名单表包括上述贷款业务已放款和未放款的全量名单表；这样步骤104之后，还可以包括：
步骤401，根据待抽取的客户标识，从上述贷款业务已放款和未放款的全量名单表中抽取上述客户标识对应的表项，获得上述客户标识对应的已放款业务报表和未放款业务报表。
步骤402，对上述客户标识对应的已放款业务报表和未放款业务报表进行融合，获得上述客户标识对应的业务报表。
步骤403，根据上述客户标识对应的业务报表，统计获得上述客户标识对应客户的已放款业务量、未放款业务量、上述客户标识所在名单表对应的池号、上述客户标识对应客户所在的区域和城市。其中，上述客户标识所在名单表对应的池号用于指示上述客户标识所在名单表的存储位置，本实施例中，上述名单表被保存在名单表池中，因此根据池号可以查找到相应的名单表。
也就是说，本实施例可以对上述贷款业务已放款的名单表和上述贷款业务未放款的名单表进行准实时同步，解决了现有技术只支持单一名单表同步的问题。
图5为本申请贷款业务名单表的同步方法再一个实施例的流程图，如图5所示，本申请图1所示实施例中，上述第一数据库可以为结构化数据库，如上所述，第一数据库可以被视为离线大数据平台，上述第二数据库可以为分布式开源数据库，于是步骤104可以为：
步骤501，通过第二数据库对外的应用程序接口(Application ProgrammingInterface；以下简称：API)与上述第一数据库对外的API进行通信，以将第二数据库映射到上述第一数据库中，获得上述贷款业务的全量名单表。
在具体实现时，上述第一数据库可以为结构化数据库，例如hive数据库，hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库，并提供简单的SQL查询功能，可以将SQL语句转换为mapreduce任务进行运行。其中，mapreduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算，概念“map(映射)”和“reduce(归约)”，是它的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个map(映射)函数，用来把一组键值对映射成一组新的键值对，指定并发的reduce(归约)函数，用来保证所有映射的键值对中的每一个共享相同的键组。
上述第二数据库可以为分布式开源数据库，例如hbase数据库，hbase是一个分布式的、面向列的开源数据库。
本实施例中，通过hive与hbase整合，利用两者本身对外的API互相进行通信，相互通信主要是依靠hive-hbase-handler-0.9.0.jar工具类。具体地，hbase将jar包引入后，在进入hive的客户端时，显示的指定hbase zookeeper的地址，例如：hive--hiveconfhbase.zookeeper.quorum＝CNSH232638.app.paic.com.cn,CNSH232639.app.paic.com.cn,CNSH232640.app.paic.com.cn–e；然后建立外部表，将hbase数据库映射到hive数据库中。
由于hive数据库保存的是预定时刻之前的贷款业务名单表的数据，而hbase数据库中保存的是预定时刻之后至当前时刻的贷款业务名单表的数据，这样将hbase数据库映射到hive数据库之后，合并了2个数据库，获得了上述贷款业务的全量名单表。本实施例，一方面利用hbase1.0以上版本支持goldengate同步，解决了多表同时实时同步的问题，另一方面通过hive去访问hbase，在大表之间的关联上，避免了phoenix的关联，通过hive的mapreduce去分布式处理关联操作，从而不受大表的数据量级别的限制，内存时效的限制，使得程序更稳定可靠。
图6为本申请贷款业务名单表的同步装置一个实施例的结构示意图，本实施例中的贷款业务名单表的同步装置可以实现本申请实施例提供的贷款业务名单表的同步方法。如图6所示，上述贷款业务名单表的同步装置可以包括：同步模块61、搭建模块62和映射模块63；
其中，同步模块61，用于将全量数据库中保存的预定时刻之前的贷款业务名单表的数据同步到第一数据库中；其中，上述预定时刻可以在具体实现时根据系统性能和/或实现需求等自行设定，本实施例对此不作限定，举例来说，上述预定时刻可以为每天凌晨1点。
本实施例中，上述数据库可以为Oracle数据库等关系型数据库，上述数据库中保存贷款业务的源端数据；上述第一数据库可以看作离线大数据平台，例如：hive数据库。
在具体实现时，同步模块61将预定时刻之前的贷款业务名单表的数据同步到第一数据库可以采用sqoop同步，sqoop是一款开源的工具，主要用于在hive与传统的数据库(mysql、postgresql或Oracle)之间进行数据的传递，可以将一个关系型数据库(例如：mysql、Oracle或postgresql等)中的数据导进到hive中，也可以将hive的数据导进到关系型数据库中。
搭建模块62，用于搭建上述全量数据库与第二数据库之间的数据同步链路；其中，上述数据同步链路可以为goldengate(以下简称：gg)链路。
本实施例中，搭建模块62，具体用于根据上述全量数据库的信息、上述全量数据库中待同步的贷款业务名单表的表名和上述待同步的贷款业务名单表中待同步的字段，以及第二数据库的地址和每次待同步的数据量，配置全量数据库与第二数据库之间的数据同步链路，以完成全量数据库与第二数据库之间的数据同步链路的搭建。
同步模块61，还用于通过上述数据同步链路，将上述数据库中保存的预定时刻之后至当前时刻的贷款业务名单表的数据实时同步到第二数据库中；本实施例中，上述数据同步链路用于解决数据同步的问题，在搭建模块62搭建数据同步链路之后，同步模块61即可通过上述数据同步链路，将上述数据库中保存的预定时刻之后至当前时刻的贷款业务名单表的数据同步到第二数据库中。
在具体实现时，同步模块61可以按照预定的频率将上述全量数据库中保存的预定时刻之后至当前时刻的贷款业务名单表的数据同步到第二数据库中，其中，上述预定的频率可以在具体实现时，根据系统性能和/或实现需求等自行设定，本实施例对上述预定的频率不作限定，举例来说，上述预定的频率可以为1小时/1次；
或者，同步模块61可以在接收到数据同步请求之后，将上述全量数据库中保存的预定时刻之后至当前时刻的贷款业务名单表的数据同步到第二数据库中。
由于本实施例中，同步模块61并没有在数据发生更新的时候，立刻进行同步，而是按照预定的频率或者接收到数据同步请求之后，才将预定时刻之后至当前时刻的贷款业务名单表的数据同步到第二数据库中，因此本实施例中同步模块61实现的数据同步是一种准实时的数据同步。
映射模块63，用于将上述第二数据库映射到第一数据库中，获得上述贷款业务的全量名单表。
上述贷款业务名单表的同步装置中，同步模块61将全量数据库中保存的预定时刻之前的贷款业务名单表的数据同步到第一数据库中，然后搭建模块62搭建全量数据库与第二数据库之间的数据同步链路，同步模块61通过上述数据同步链路，将上述全量数据库中保存的预定时刻之后至当前时刻的贷款业务名单表的数据实时同步到第二数据库中，最后映射模块63将上述第二数据库映射到第一数据库中，获得上述贷款业务的全量名单表，从而可以实现对贷款业务的名单表进行全量实时同步，实现简单，并且降低了名单表全量实时同步的开发工作量。
图7为本申请贷款业务名单表的同步装置另一个实施例的结构示意图，与图6所示的贷款业务名单表的同步装置相比，不同之处在于，上述贷款业务名单表的同步装置还可以包括：抽取模块64和统计模块65；
本实施例的一种实现方式中，上述贷款业务名单表可以包括上述贷款业务已放款的名单表；上述全量名单表包括上述贷款业务已放款的全量名单表；
这时，抽取模块64，用于在映射模块63将第二数据库映射到第一数据库中，获得上述贷款业务的全量名单表之后，根据待抽取的客户标识，从上述贷款业务已放款的全量名单表中抽取上述客户标识对应的表项，获得上述客户标识对应的已放款业务报表；其中，上述客户标识对应的已放款业务报表可以包括：上述客户标识对应客户的已放款业务量、上述客户标识所在名单表对应的池号、上述客户标识对应客户所在的区域和城市。其中，上述客户标识所在名单表对应的池号用于指示上述客户标识所在名单表的存储位置，本实施例中，上述名单表被保存在名单表池中，因此根据池号可以查找到相应的名单表。
具体地，抽取模块64可以根据待抽取的客户标识，按照预定频率从上述贷款业务已放款的全量名单表中抽取上述客户标识对应的表项，获得上述客户标识对应的已放款业务报表。其中，上述预定频率可以根据系统性能和/或实现需求等自行设定，本实施例对上述预定频率的大小不作限定，举例来说，上述预定频率可以为1小时/次。
统计模块65，用于根据抽取模块64获得的上述客户标识对应的已放款业务报表，统计获得上述客户标识对应客户的已放款业务量、上述客户标识所在名单表对应的池号、上述客户标识对应客户所在的区域和城市。
本实现方式可以实现根据待抽取的客户标识，获得上述客户标识对应的已放款业务报表，实现了对贷款业务的已放款业务的名单表进行全量准实时同步，实现简单，并且降低了名单表全量准实时同步的开发工作量。进而根据上述客户标识对应的已放款业务报表，可以清楚地获知上述客户标识对应的客户的放款情况。
本实施例的另一种实现方式中，上述贷款业务名单表可以包括上述贷款业务未放款的名单表；上述全量名单表包括上述贷款业务未放款的全量名单表；
这时，抽取模块64，用于在映射模块63将第二数据库映射到第一数据库中，获得上述贷款业务的全量名单表之后，根据待抽取的客户标识，从上述贷款业务未放款的全量名单表中抽取上述客户标识对应的表项，获得上述客户标识对应的未放款业务报表；其中，上述客户标识对应的未放款业务报表可以包括：上述客户标识对应客户的未放款业务量、上述客户标识所在名单表对应的池号、上述客户标识对应客户所在的区域和城市。其中，上述客户标识所在名单表对应的池号用于指示上述客户标识所在名单表的存储位置，本实施例中，上述名单表被保存在名单表池中，因此根据池号可以查找到相应的名单表。
具体地，抽取模块64可以根据待抽取的客户标识，按照预定频率从上述贷款业务未放款的全量名单表中抽取上述客户标识对应的表项，获得上述客户标识对应的未放款业务报表。其中，上述预定频率可以根据系统性能和/或实现需求等自行设定，本实施例对上述预定频率的大小不作限定，举例来说，上述预定频率可以为1小时/次。
统计模块65，用于根据抽取模块64获得的上述客户标识对应的未放款业务报表，统计获得上述客户标识对应客户的未放款业务量、上述客户标识所在名单表对应的池号、上述客户标识对应客户所在的区域和城市。
本实现方式可以实现根据待抽取的客户标识，获得上述客户标识对应的未放款业务报表，实现了对贷款业务的未放款业务的名单表进行全量准实时同步，实现简单，并且降低了名单表全量准实时同步的开发工作量。进而根据上述客户标识对应的未放款业务报表，可以清楚地获知上述客户标识对应的客户的未放款情况。
本实施例的再一种实现方式中，上述贷款业务名单表可以包括上述贷款业务已放款的名单表和上述贷款业务未放款的名单表；上述全量名单表包括上述贷款业务已放款和未放款的全量名单表；
这时，上述贷款业务名单表的同步装置还可以包括：融合模块66；
抽取模块64，用于在映射模块63将第二数据库映射到第一数据库中，获得上述贷款业务的全量名单表之后，根据待抽取的客户标识，从上述贷款业务已放款和未放款的全量名单表中抽取上述客户标识对应的表项，获得上述客户标识对应的已放款业务报表和未放款业务报表；
融合模块66，用于对抽取模块64获得的上述客户标识对应的已放款业务报表和未放款业务报表进行融合，获得上述客户标识对应的业务报表；
统计模块65，用于根据融合模块66获得的上述客户标识对应的业务报表，统计获得所述客户标识对应客户的已放款业务量、未放款业务量、所述客户标识所在名单表对应的池号、所述客户标识对应客户所在的区域和城市。其中，上述客户标识所在名单表对应的池号用于指示上述客户标识所在名单表的存储位置，本实施例中，上述名单表被保存在名单表池中，因此根据池号可以查找到相应的名单表。
也就是说，本实施例可以对上述贷款业务已放款的名单表和上述贷款业务未放款的名单表进行准实时同步，解决了现有技术只支持单一名单表同步的问题。
本实施例中，上述第一数据库可以为结构化数据库，如上所述，第一数据库可以被视为离线大数据平台，上述第二数据库可以为分布式开源数据库，
这时，映射模块63，具体用于通过第二数据库对外的API与第一数据库对外的API进行通信，以将第二数据库映射到第一数据库中。
在具体实现时，上述第一数据库可以为结构化数据库，例如hive数据库，hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库，并提供简单的SQL查询功能，可以将SQL语句转换为mapreduce任务进行运行。其中，mapreduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算，概念“map(映射)”和“reduce(归约)”，是它的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个map(映射)函数，用来把一组键值对映射成一组新的键值对，指定并发的reduce(归约)函数，用来保证所有映射的键值对中的每一个共享相同的键组。
上述第二数据库可以为分布式开源数据库，例如hbase数据库，hbase是一个分布式的、面向列的开源数据库。
本实施例中，通过hive与hbase整合，利用两者本身对外的API互相进行通信，相互通信主要是依靠hive-hbase-handler-0.9.0.jar工具类。具体地，hbase将jar包引入后，在进入hive的客户端时，显示的指定hbase zookeeper的地址，例如：hive--hiveconfhbase.zookeeper.quorum＝CNSH232638.app.paic.com.cn,CNSH232639.app.paic.com.cn,CNSH232640.app.paic.com.cn–e；然后建立外部表，将hbase数据库映射到hive数据库中。
由于hive数据库保存的是预定时刻之前的贷款业务名单表的数据，而hbase数据库中保存的是预定时刻之后至当前时刻的贷款业务名单表的数据，这样映射模块63将hbase数据库映射到hive数据库之后，合并了2个数据库，获得了上述贷款业务的全量名单表。本实施例，一方面利用hbase1.0以上版本支持goldengate同步，解决了多表同时实时同步的问题，另一方面通过hive去访问hbase，在大表之间的关联上，避免了phoenix的关联，通过hive的mapreduce去分布式处理关联操作，从而不受大表的数据量级别的限制，内存时效的限制，使得程序更稳定可靠。
图8为本申请计算机设备一个实施例的结构示意图，上述计算机设备可以包括存储器、处理器及存储在上述存储器上并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时，可以实现本申请实施例提供的贷款业务名单表的同步方法。
其中，上述计算机设备可以为服务器，例如：云服务器，也可以为电子设备，例如：智能手机、个人计算机(Personal Computer；以下简称：PC)或平板电脑等智能设备，本实施例对上述计算机设备的具体形态不作限定。
图8示出了适于用来实现本申请实施方式的示例性计算机设备12的框图。图8显示的计算机设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图8所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图8中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本申请实施例提供的贷款业务名单表的同步方法。
本申请实施例还提供一种非临时性计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时可以实现本申请实施例提供的贷款业务名单表的同步方法。
上述非临时性计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(Read Only Memory；以下简称：ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory；以下简称：EPROM)或闪存、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network；以下简称：LAN)或广域网(Wide Area Network；以下简称：WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
需要说明的是，本申请实施例中所涉及的终端可以包括但不限于个人计算机(Personal Computer；以下简称：PC)、个人数字助理(Personal Digital Assistant；以下简称：PDA)、无线手持设备、平板电脑(Tablet Computer)、手机、MP3播放器、MP4播放器等。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
Claims (10)
1.一种贷款业务名单表的同步方法，其特征在于，包括：
将全量数据库中保存的预定时刻之前的贷款业务名单表的数据同步到第一数据库中；
搭建所述全量数据库与第二数据库之间的数据同步链路；
通过所述数据同步链路，将所述全量数据库中保存的预定时刻之后至当前时刻的贷款业务名单表的数据同步到所述第二数据库中；
将所述第二数据库映射到所述第一数据库中，获得所述贷款业务的全量名单表。
2.根据权利要求1所述的方法，其特征在于，所述贷款业务名单表包括所述贷款业务已放款的名单表；所述全量名单表包括所述贷款业务已放款的全量名单表；
所述将所述第二数据库映射到所述第一数据库中，获得所述贷款业务的全量名单表之后，还包括：
根据待抽取的客户标识，从所述贷款业务已放款的全量名单表中抽取所述客户标识对应的表项，获得所述客户标识对应的已放款业务报表；
根据所述客户标识对应的已放款业务报表，统计获得所述客户标识对应客户的已放款业务量、所述客户标识所在名单表对应的池号、所述客户标识对应客户所在的区域和城市。
3.根据权利要求1所述的方法，其特征在于，所述贷款业务名单表包括所述贷款业务未放款的名单表；所述全量名单表包括所述贷款业务未放款的全量名单表；
所述将所述第二数据库映射到所述第一数据库中，获得所述贷款业务的全量名单表之后，还包括：
根据待抽取的客户标识，从所述贷款业务未放款的全量名单表中抽取所述客户标识对应的表项，获得所述客户标识对应的未放款业务报表；
根据所述客户标识对应的未放款业务报表，统计获得所述客户标识对应客户的未放款业务量、所述客户标识所在名单表对应的池号、所述客户标识对应客户所在的区域和城市。
4.根据权利要求1所述的方法，其特征在于，所述搭建所述全量数据库与第二数据库之间的数据同步链路包括：
根据所述全量数据库的信息、所述全量数据库中待同步的贷款业务名单表的表名和所述待同步的贷款业务名单表中待同步的字段，以及所述第二数据库的地址和每次待同步的数据量，配置所述全量数据库与所述第二数据库之间的数据同步链路，以完成所述全量数据库与所述第二数据库之间的数据同步链路的搭建。
5.根据权利要求1-4任意一项所述的方法，其特征在于，所述第一数据库为结构化数据库，所述第二数据库为分布式开源数据库；
所述将所述第二数据库映射到所述第一数据库中包括：
通过所述第二数据库对外的应用程序接口与所述第一数据库对外的应用程序接口进行通信，以将所述第二数据库映射到所述第一数据库中。
6.一种贷款业务名单表的同步装置，其特征在于，包括：
同步模块，用于将全量数据库中保存的预定时刻之前的贷款业务名单表的数据同步到第一数据库中；
搭建模块，用于搭建所述全量数据库与第二数据库之间的数据同步链路；
所述同步模块，还用于通过所述数据同步链路，将所述全量数据库中保存的预定时刻之后至当前时刻的贷款业务名单表的数据同步到所述第二数据库中；
映射模块，用于将所述第二数据库映射到所述第一数据库中，获得所述贷款业务的全量名单表。
7.根据权利要求6所述的装置，其特征在于，所述贷款业务名单表包括所述贷款业务已放款的名单表；所述全量名单表包括所述贷款业务已放款的全量名单表；
所述装置还包括：
抽取模块，用于在所述映射模块将所述第二数据库映射到所述第一数据库中，获得所述贷款业务的全量名单表之后，根据待抽取的客户标识，从所述贷款业务已放款的全量名单表中抽取所述客户标识对应的表项，获得所述客户标识对应的已放款业务报表；
统计模块，用于根据所述抽取模块获得的所述客户标识对应的已放款业务报表，统计获得所述客户标识对应客户的已放款业务量、所述客户标识所在名单表对应的池号、所述客户标识对应客户所在的区域和城市。
8.根据权利要求6所述的装置，其特征在于，所述贷款业务名单表包括所述贷款业务未放款的名单表；所述全量名单表包括所述贷款业务未放款的全量名单表；
所述装置还包括：
抽取模块，用于在所述映射模块将所述第二数据库映射到所述第一数据库中，获得所述贷款业务的全量名单表之后，根据待抽取的客户标识，从所述贷款业务未放款的全量名单表中抽取所述客户标识对应的表项，获得所述客户标识对应的未放款业务报表；
统计模块，用于根据所述抽取模块获得的所述客户标识对应的未放款业务报表，统计获得所述客户标识对应客户的未放款业务量、所述客户标识所在名单表对应的池号、所述客户标识对应客户所在的区域和城市。
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-5中任一所述的方法。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811397196.7A CN109582736A (zh) | 2018-11-22 | 2018-11-22 | 贷款业务名单表的同步方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811397196.7A CN109582736A (zh) | 2018-11-22 | 2018-11-22 | 贷款业务名单表的同步方法、装置和计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109582736A true CN109582736A (zh) | 2019-04-05 |
Family
ID=65923693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811397196.7A Pending CN109582736A (zh) | 2018-11-22 | 2018-11-22 | 贷款业务名单表的同步方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109582736A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110209730A (zh) * | 2019-04-25 | 2019-09-06 | 深圳壹账通智能科技有限公司 | 变更数据的同步方法、装置、计算机设备及计算机存储介质 |
| CN110245134A (zh) * | 2019-04-26 | 2019-09-17 | 石化盈科信息技术有限责任公司 | 一种应用于搜索服务的增量同步方法 |
| CN110689664A (zh) * | 2019-09-25 | 2020-01-14 | 浪潮金融信息技术有限公司 | 一种基于大数据技术的智能终端软件界面智能分布方法及系统 |
| CN113468154A (zh) * | 2021-06-25 | 2021-10-01 | 浙江数链科技有限公司 | 基于MySQL的大表减容方法、装置、电子装置和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105243067A (zh) * | 2014-07-07 | 2016-01-13 | 北京明略软件系统有限公司 | 一种实现实时增量同步数据的方法及装置 |
| CN105354314A (zh) * | 2015-11-10 | 2016-02-24 | 中国建设银行股份有限公司 | 数据迁移方法及装置 |
| CN107609188A (zh) * | 2017-10-09 | 2018-01-19 | 上海新炬网络信息技术股份有限公司 | 基于GoldenGate的数据同步校验方法 |
| CN107943979A (zh) * | 2017-11-29 | 2018-04-20 | 山东鲁能软件技术有限公司 | 一种数据库之间数据的准实时同步方法及装置 |
-
2018
- 2018-11-22 CN CN201811397196.7A patent/CN109582736A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105243067A (zh) * | 2014-07-07 | 2016-01-13 | 北京明略软件系统有限公司 | 一种实现实时增量同步数据的方法及装置 |
| CN105354314A (zh) * | 2015-11-10 | 2016-02-24 | 中国建设银行股份有限公司 | 数据迁移方法及装置 |
| CN107609188A (zh) * | 2017-10-09 | 2018-01-19 | 上海新炬网络信息技术股份有限公司 | 基于GoldenGate的数据同步校验方法 |
| CN107943979A (zh) * | 2017-11-29 | 2018-04-20 | 山东鲁能软件技术有限公司 | 一种数据库之间数据的准实时同步方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 戴冠平: "《GoldenGate企业级运维实战》", 清华大学出版社, pages: 1 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110209730A (zh) * | 2019-04-25 | 2019-09-06 | 深圳壹账通智能科技有限公司 | 变更数据的同步方法、装置、计算机设备及计算机存储介质 |
| CN110245134A (zh) * | 2019-04-26 | 2019-09-17 | 石化盈科信息技术有限责任公司 | 一种应用于搜索服务的增量同步方法 |
| CN110245134B (zh) * | 2019-04-26 | 2021-07-06 | 石化盈科信息技术有限责任公司 | 一种应用于搜索服务的增量同步方法 |
| CN110689664A (zh) * | 2019-09-25 | 2020-01-14 | 浪潮金融信息技术有限公司 | 一种基于大数据技术的智能终端软件界面智能分布方法及系统 |
| CN113468154A (zh) * | 2021-06-25 | 2021-10-01 | 浙江数链科技有限公司 | 基于MySQL的大表减容方法、装置、电子装置和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109582736A (zh) | 贷款业务名单表的同步方法、装置和计算机设备 | |
| CN104424358B (zh) | 用于具有多功率模式的计算设备的动态信息适配 | |
| CN113643412B (zh) | 虚拟形象的生成方法、装置、电子设备及存储介质 | |
| EP4270286A3 (en) | Intelligent agents for managing data associated with three-dimensional objects | |
| JP2016539427A (ja) | 多重入力データストリームにわたるパターンマッチング | |
| CN104520851A (zh) | 基于电子表格应用中的数据点生成查询 | |
| CN109074265A (zh) | 移动云服务的预先形成的指令 | |
| CN109741755A (zh) | 语音唤醒词阈值管理装置及管理语音唤醒词阈值的方法 | |
| JP2023505283A (ja) | 照応解決方法、システム、プログラム | |
| CN110020107A (zh) | 页面展示方法及系统 | |
| CN108038112A (zh) | 文件处理方法、移动终端及计算机可读存储介质 | |
| CN103455555B (zh) | 基于移动终端相似度的推荐方法及推荐装置 | |
| CN110162537A (zh) | 数据查询方法及装置、存储介质以及电子设备 | |
| CN110019496A (zh) | 数据读写方法和系统 | |
| CN109901928A (zh) | 一种推荐云主机配置的方法及云主机 | |
| CN112862934B (zh) | 用于处理动画的方法、装置、设备、介质和产品 | |
| CN110445667A (zh) | 一种链路延迟检测方法、装置、存储介质以及终端 | |
| CN109783321A (zh) | 监控数据管理方法、装置、终端设备 | |
| CN109634986A (zh) | 系统监测方法、装置、计算机及计算机可读存储介质 | |
| CN111488386A (zh) | 数据查询方法和装置 | |
| WO2023035559A1 (zh) | 关系图谱的实现方法、装置、电子设备及存储介质 | |
| CN110443062A (zh) | 多租户数据库的操作方法、装置和计算机设备 | |
| CN109561048B (zh) | 一种通信管理方法和装置 | |
| CN114238335A (zh) | 一种埋点数据生成方法及其相关设备 | |
| CN111552715B (zh) | 用户查询方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |