CN115858489A - 基于数据迁移的交易处理方法、装置、计算机设备及介质 - Google Patents
基于数据迁移的交易处理方法、装置、计算机设备及介质 Download PDFInfo
- Publication number
- CN115858489A CN115858489A CN202211478209.XA CN202211478209A CN115858489A CN 115858489 A CN115858489 A CN 115858489A CN 202211478209 A CN202211478209 A CN 202211478209A CN 115858489 A CN115858489 A CN 115858489A
- Authority
- CN
- China
- Prior art keywords
- data
- migration
- data system
- transaction
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013508 migration Methods 0.000 title claims abstract description 421
- 230000005012 migration Effects 0.000 title claims abstract description 420
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 67
- 230000008569 process Effects 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000008520 organization Effects 0.000 claims description 107
- 230000007246 mechanism Effects 0.000 claims description 64
- 238000003860 storage Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 4
- 239000004973 liquid crystal related substance Substances 0.000 claims description 3
- 230000001939 inductive effect Effects 0.000 abstract description 3
- 238000007726 management method Methods 0.000 description 33
- 238000012795 verification Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 238000011144 upstream manufacturing Methods 0.000 description 12
- 238000004519 manufacturing process Methods 0.000 description 11
- 238000012360 testing method Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013524 data verification Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000002354 daily effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种基于数据迁移的交易处理方法、装置、计算机设备及介质,涉及计算机技术领域。该方法包括:采用预设数据迁移规则,将从第一数据系统获取的数据迁移至第二数据系统,并更新已迁移数据的迁移状态,在将第一数据系统中的数据迁移至第二数据系统中的数据迁移过程中,若接收到针对目标数据的交易请求,确定目标数据的迁移状态和目标数据的类型;根据目标数据的迁移状态和目标数据的类型,从第一数据系统和第二数据系统中确定目标数据系统;将交易请求转发至目标数据系统,以使得目标数据系统响应交易请求,对目标数据执行交易请求对应的交易操作。本申请可以实现无感数据迁移。
Description
技术领域
本发明涉及计算机技术领域,具体而言,涉及一种基于数据迁移的交易处理方法、装置、计算机设备及介质。
背景技术
在企业业务系统的更第二换代中,常常存在需要将第一数据系统中的数据迁移至第二数据系统的需求。
在传统的数据迁移过程中,需要停止使用系统服务,然后将第一数据系统中的数据迁移至第二数据系统,并在验证完数据的正确性和有效性后,在启动第二的数据系统提供服务。
对于数据量庞大的企业业务系统,例如银行,其数据迁移过程可能需要耗费数个月甚至一年的时间,若在数据迁移期间停止提供服务,不仅会对企业造成损失,也会严重影响客户体验。
发明内容
本发明的目的在于,针对上述现有技术中的不足,提供一种基于数据迁移的交易处理方法、装置、计算机设备及介质,以便在数据迁移过程中正常处理交易请求,实现无感数据迁移。
为实现上述目的,本申请实施例采用的技术方案如下:
第一方面,本申请实施例提供了一种基于数据迁移的交易处理方法,所述方法包括:
采用预设数据迁移规则,将从第一数据系统获取的数据迁移至第二数据系统,并更新已迁移数据的迁移状态;
在将所述第一数据系统中的数据迁移至所述第二数据系统中的数据迁移过程中,若接收到针对目标数据的交易请求,确定所述目标数据的迁移状态和所述目标数据的类型;
根据所述目标数据的迁移状态和所述目标数据的类型,从所述第一数据系统和所述第二数据系统中确定目标数据系统;
将所述交易请求转发至所述目标数据系统,以使得所述目标数据系统响应所述交易请求,对所述目标数据执行所述交易请求对应的交易操作。
可选的,所述采用预设数据迁移规则,将从第一数据系统获取的数据迁移至第二数据系统,包括:
根据所述第一数据系统中所包含数据的类型,将各种类型的数据采用预设顺序依次迁移至所述第二数据系统。
可选的,所述根据所述第一数据系统中所包含数据的类型,将各种类型的数据采用预设顺序依次迁移至所述第二数据系统,包括:
对所述第一数据系统中的数据进行分类,得到多种类型的数据,其中,所述多种类型的数据包括:客户类数据和机构类数据;
将所述第一数据系统中每个机构下的客户类数据迁移至所述第二数据系统;
当检测到所述每个机构下的客户类数据迁移完成后,将所述第一数据系统中所述每个机构的机构类数据迁移至所述第二数据系统。
可选的,所述将所述第一数据系统中每个机构下的客户类数据迁移至所述第二数据系统,包括:
获取所述客户类数据的迁移配置参数,其中,所述迁移配置参数至少包括:迁移频次、批量迁移数量;
根据所述迁移频次,将从所述第一数据系统中获取的所述每个机构下的所述批量迁移数量的客户类数据迁移至所述第二数据系统。
可选的,所述根据所述目标数据的迁移状态和所述目标数据的类型,从所述第一数据系统和所述第二数据系统中确定目标数据系统,包括:
若所述目标数据的类型为机构类数据,则若所述机构类数据的迁移状态为未迁移,将所述交易请求发送至所述第一数据系统;或者,
若所述机构类数据的迁移状态为已迁移,将所述交易请求发送至所述第二数据系统。
可选的,所述根据所述目标数据的迁移状态和所述目标数据的类型,从所述第一数据系统和所述第二数据系统中确定目标数据系统,包括:
若所述目标数据的类型为客户类数据,则若所述客户类数据的迁移状态为未迁移,将所述交易请求发送至所述第一数据系统;或者,
若所述客户类数据的迁移状态为已迁移,确定所述交易请求中的交易双方客户的所属机构的迁移状态;
若所述交易双方客户中的双方所属机构的迁移状态均为已迁移,则将所述交易请求发送至所述第二数据系统中的第一类应用服务;
若所述交易双方客户中存在一方所属机构的迁移状态为未迁移,则将所述交易请求发送至所述第二数据系统中的第二类应用服务,所述第二类应用服务通过所述第一数据系统中的接口访问所述第一数据系统。
可选的,若所述交易请求为针对多个客户类数据的交易请求,所述方法还包括:
根据所述多个客户类数据的迁移状态,将所述交易请求拆分为两类交易子请求;
根据所述多个客户类数据的迁移状态,从所述第一数据系统和所述第二数据系统中分别确定所述两类交易子请求对应的目标数据系统;
将所述两类交易子请求分别发送至对应的目标数据系统;
对所述两类交易子请求对应的目标数据系统针对所述交易请求返回的交易结果进行合并。
第二方面,本申请实施例还提供一种基于数据迁移的交易处理装置,所述装置包括:
数据迁移模块,用于采用预设数据迁移规则,将从第一数据系统获取的数据迁移至第二数据系统,并更新已迁移数据的迁移状态;
迁移状态确定模块,用于在将所述第一数据系统中的数据迁移至所述第二数据系统中的数据迁移过程中,若接收到针对目标数据的交易请求,确定所述目标数据的迁移状态;
目标系统确定模块,用于根据所述目标数据的迁移状态和所述目标数据的类型,从所述第一数据系统和所述第二数据系统中确定目标数据系统;
交易请求转发模块,用于将所述交易请求转发至所述目标数据系统,以使得所述目标数据系统响应所述交易请求对所述目标数据执行所述交易请求对应的交易操作。
可选的,所述数据迁移模块,具体用于根据所述第一数据系统中所包含数据的类型,将各种类型的数据采用预设顺序依次迁移至所述第二数据系统。
可选的,所述数据迁移模块,包括:
数据分类单元,用于对所述第一数据系统中的数据进行分类,得到多种类型的数据,其中,所述多种类型的数据包括:客户类数据和机构类数据;
客户类数据迁移单元,用于将所述第一数据系统中每个机构下的客户类数据迁移至所述第二数据系统;
机构类数据迁移单元,用于当检测到所述每个机构下的客户类数据迁移完成后,将所述第一数据系统中所述每个机构的机构类数据迁移至所述第二数据系统。
可选的,所述客户类数据迁移单元,包括:
迁移参数获取子单元,用于获取所述客户类数据的迁移配置参数,其中,所述迁移配置参数至少包括:迁移频次、批量迁移数量;
客户类数据迁移子单元,用于根据所述迁移频次,将从所述第一数据系统中获取的所述每个机构下的所述批量迁移数量的客户类数据迁移至所述第二数据系统。
可选的,所述目标系统确定模块,具体用于若所述目标数据的类型为机构类数据,则若所述机构类数据的迁移状态为未迁移,将所述交易请求发送至所述第一数据系统;或者,用于若所述机构类数据的迁移状态为已迁移,将所述交易请求发送至所述第二数据系统。
可选的,所述目标系统确定模块,包括:
第一确定单元,用于若所述目标数据的类型为客户类数据,则若所述客户类数据的迁移状态为未迁移,将所述交易请求发送至所述第一数据系统;或者,
机构状态确定单元,用于若所述客户类数据的迁移状态为已迁移,确定所述交易请求中的交易双方客户的所属机构的迁移状态;
第二确定单元,用于若所述交易双方客户中的双方所属机构的迁移状态均为已迁移,则将所述交易请求发送至所述第二数据系统中的第一类应用服务;
第三确定单元,用于若所述交易双方客户中存在一方所属机构的迁移状态为未迁移,则将所述交易请求发送至所述第二数据系统中的第二类应用服务,所述第二类应用服务通过所述第一数据系统中的接口访问所述第一数据系统。
可选的,若所述交易请求为针对多个客户类数据的交易请求,所述装置还包括:
交易请求拆分装置,用于根据所述多个客户类数据的迁移状态,将所述交易请求拆分为两类交易子请求;
所述目标系统确定模块,还用于根据所述多个客户类数据的迁移状态,从所述第一数据系统和所述第二数据系统中分别确定所述两类交易子请求对应的目标数据系统;
所述交易请求转发模块,还用于将所述两类交易子请求分别发送至对应的目标数据系统;
交易结果合并模块,用于对所述两类交易子请求对应的目标数据系统针对所述交易请求返回的交易结果进行合并。
第三方面,本申请实施例还提供一种计算机设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的程序指令,当计算机设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述程序指令,以执行如第一方面任一所述的基于数据迁移的交易处理方法的步骤。
第四方面,本申请实施例还提供一种计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如第一方面任一所述的基于数据迁移的交易处理方法的步骤。
本申请的有益效果是:
本申请提供一种基于数据迁移的交易处理方法、装置、计算机设备及介质,采用预设数据迁移规则,将从第一数据系统获取的数据迁移至第二数据系统,并更新已迁移数据的迁移状态,在数据迁移过程中,根据交易请求所针对的目标数据的迁移状态和类型,从第一数据系统和第二数据系统中确定目标数据系统,将交易请求转发至目标数据系统,以使得目标数据系统响应该交易请求,对目标数据执行该交易请求对应的交易操作,从而实现了在数据迁移过程中第一数据系统和第二数据系统可以并行运行,且在数据迁移过程中也可以正常处理交易请求,实现无感数据迁移,由于在迁移期间无需停止服务,保证了业务的正常处理,既不会对企业造成损失,也不会影响客户体验。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种双核心并行的示意图;
图2为本申请实施例提供的数据迁移系统的架构图;
图3为本申请实施例提供的基于数据迁移的交易处理方法的示意图一;
图4为本申请实施例提供的基于数据迁移的交易处理方法的示意图二;
图5为本申请实施例提供的基于数据迁移的交易处理方法的示意图三;
图6为本申请实施例提供的基于数据迁移的交易处理方法的示意图四;
图7为本申请实施例提供的基于数据迁移的交易处理方法的示意图五;
图8为本申请实施例提供的基于数据迁移的交易处理装置的示意图;
图9为本申请实施例提供的计算机设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,在不冲突的情况下,本申请的实施例中的特征可以相互结合。
随着金融行业例如银行业务的拓展,急需采用分布式核心系统执行不同的业务。分布式核心系统是指一组计算机通过网络相互连接传递消息与通信,并协调它们的行为统一对外服务的系统。分布式核心系统的业务分散于多个节点,通过相互协同,共同提供服务。
在从原本的集中式数据系统将业务数据迁移至新的分布式数据系统的过程中,需要保证在不停止为客户服务的前提下,完成数据迁移。
请参考图1,为本申请实施例提供的一种双核心并行的示意图,如图1所示,双核心包括:第一数据系统和第二数据系统,第一数据系统和第二数据系统用于管理企业的核心数据,因此,也可以被称之为第一核心系统和第二核心系统,其中,第一核心系统为集中式核心系统,第二核心系统为分布式核心系统。企业面向客户提供的业务系统包括云下系统和云上系统,云下系统和云上系统既可以通过企业服务总线(Enterprise Service Bus,ESB)向双发服务器发送交易请求,也直接通过中间件协议直接向双发服务器发送交易请求,第一数据系统既可以自行根据交易请求提供服务,也可以访问其他系统根据交易请求提供服务。
双发服务器在接收到业务系统发送的交易请求后,需要判断是由第一数据系统执行还是由第二数据系统执行该交易请求。若双发服务器判断业务系统所发起的交易请求由第二数据系统执行,双发服务器将该交易请求发送至订单转换中心,由订单转换中心对交易请求进行识别,并将交易请求转换为对应的订单,第二数据系统作为第二数据系统,由第二数据系统中不同的系统对不同类型的订单进行处理。
示例的,云下系统可以采用SOAP(Simple Object Access Protocol,简单对象处理协议)XML协议、WTC FML32、socket报文头+XML等协议与ESB进行通信,也可以采用CTG(CICS Transaction gateway,CICS交易网关)、TCP/IP(Transmission Control Protocol/Internet Protocol,传输控制协议/网际协议)、TUXEDO(Transaction for Unix has beenExtended for Distributed Operation,分布式操作扩展之后的UNIX事务系统)FML等直接与双发服务器通信,云上系统可以采用webservice与ESB进行通信,也可以采用TUXEDO直接与双发服务器通信,双发服务器与订单转换中心采用RCP(Remote Procedure CallProtocol,远程过程调用协议)进行通信,双发服务器与第一数据系统可以采用CICS(Customer Information Control System,客户信息控制系统)进行通信。以上均为示例性的说明,本实施例对此不做限制。
请参考图2,为本申请实施例提供的数据迁移系统的架构图,如图2所示,图1所示的双发服务器由双发迁移适配器、数据迁移管理平台、数据查询合并处理模块、批量文件预处理模块、系统间往来模块、统一日启控制模块、数据迁移运维模块、数据验证比对模块。
其中,双发迁移适配器用于接收前置渠道或者上游系统发送的针对目标数据的交易请求,并根据目标数据的迁移状态和目标数据的类型,从第一数据系统和第二数据系统中确定目标交易系统,并将交易请求转发至目标数据系统。
数据迁移管理平台用于对数据迁移过程进行管理,其功能包括但不限于:客户实时迁移、客户批量迁移、迁移数据监控管理、迁移批次管理、迁移任务配置、迁移规则配置管理、迁移工具等;其中,客户实时迁移为实时性地从第一数据系统获取客户数据并发送至第二数据系统;客户批量迁移为批量从第一数据系统获取客户数据并发送至第二数据系统;迁移规则配置管理例如可以配置迁移时间段、不同迁移时间段可批量迁移的客户数量等。
示例的,表1为本申请实施例提供的数据迁移管理平台的功能介绍,如表1所示,迁移工具包括:数据导出工具、数据转换工具、数据导入工具、数据核验工具等。
表1数据迁移管理平台的功能介绍
数据查询合并处理模块用于针对通过前置渠道或上游系统发出的查询、对账、统计等交易请求,对第一数据系统和第二数据系统分别基于交易请求提供的数据进行合并。示例的,查询可以为法人或者柜员维度的查询、集团客户维度、对账薄的查询,对账可以为主机与控管对账、资金交易往来对账等。
批量文件预处理模块用于对批量文件在业务办理前和办理完成后进行匹配预处理。具体为:由于批量文件中的客户或者账户分属不同核心,需要将批量文件根据客户的迁移状态拆分为两个送入不同的核心执行,在不同的核心执行完成后对返回的明细进行合并,并统一返回结果。示例的,批量文件包括:批量开户、批量发卡、代发代扣、定时转账、批量结息等。
系统间往来模块用于对第一数据系统和第二数据系统内的客户发生业务往来时,在各自的系统中标记系统间往来作为过渡,第一数据系统和第二数据系统的“系统间往来”的约相同,方向相反。例如,交易双方客户分别属于第一数据系统和第二数据系统,在交易双发客户完成一次交易后,第一数据系统记录:借方为第一数据系统中的客户,贷方为系统间往来,第二数据系统记录:借方为系统间往来,贷方为第二数据系统中的客户。需要说明的是,在总账汇总时,不需要体现该系统间往来科目。
统一日启控制模块用于控制第一数据系统和第二数据系统的会计日期保持一致,使第一数据系统和第二数据系统实现统一日启。具体的,第一数据系统和第二数据系统在分别完成每日业务后分别进行日终跑批,但是第一数据系统和第二数据系统的日终跑批完成时间可能不同,为了保证在迁移后数据的一致性,需要由统一日启控制模块控制先完成日终跑批的核心等待后完成日终跑批的核心,之后控制第一数据系统和第二数据系统在同一个会计日期时启动,即,使第一数据系统和第二数据系统实现统一日启,使得在日终跑批结束后日启开始前所迁移的数据保持一致,避免因为未统一日启导致第一数据系统和第二数据系统中产生的业务流水在数据迁移后在第一数据系统和第二数据系统中不一致。
数据迁移运维模块用于防范一批客户数据或者一个机构数据导入第二数据系统失败时,对已经导入至第二数据系统的数据进行清理,并准备重第二迁移。
具体的,可以根据客户迁移列表中的客户信息,清理已经导入至第二数据系统的客户类数据,并将第一数据系统中的客户类数据重第二全库解锁,以便重第二迁移;根据机构编号,清理已经导入至第二数据系统的机构类数据,并将第一数据系统中的机构类数据重第二全库解锁,以便重第二迁移。
需要说明的是,对客户类数据进行清理前,需要检查客户类数据所属的机构的迁移状态是否为已迁移,对于已迁移机构不能再进行客户类数据的清理,只能由运维人员进行数据检查及修改。
数据验证比对模块用于对从第一数据系统导出的数据和导入至第二数据系统的数据进行粗校验或者详细校验,判断第一数据系统和第二数据系统的数据一致性。
具体的,数据验证比对模块的功能包括:
第一、采用黑盒方式比对输入输出报文,采用白盒方式针对关键项细化比对,白盒比对可以针对指定机构、客户、交易类型、服务编号、流水号等进行第一数据系统和第二数据系统的比对。
第二、会计报表比对,第一数据系统完成每日账务处理且平账,且第一数据系统和第二数据系统完成日终后,对第一数据系统和第二数据系统中的数据进行对比。
其中,第一数据系统的财务报表由总账提供,第二数据系统的财务报表=第二数据系统的客户业务+第一数据系统的公共业务,或者第二数据系统的财务报表=第二数据系统的客户业务+第二数据系统的公共业务,判断第一数据系统的财务报表是否等于第二数据系统的财务报表。
第三、当第一数据系统中的所有数据都迁入到第二数据系统,将以机构为单位比对第一数据系统和第二数据系统的财务报表、统计报表、重要库表数据、批处理文件等数据信息,确定第一数据系统和第二数据系统的数据一致性。
第四、采用阶段日终时数据比对或者单日数据比对,支持生产回放数据比对,也可对实时生产流量数据进行比对。
第五、将比对结果存放,且有日志可查询,针对比对结果可以采用自动化和人工分析得到趋势图。
在一些实施例中,双发服务器除了包含上述适配器、平台和模块之外,还根据订单所需的服务类型,将第二数据系统分为第一应用服务和第二应用服务,其中,第一应用服务用于为不涉及双核心交互的订单提供服务,第二应用服务用于为涉及双核心交互的订单提供服务,并在第一数据系统上开发一API接口,使第二数据系统中的第二应用服务指向第一数据系统的API接口,以通过该API接口调用第一数据系统中的机构数据。
其中,当所有的机构数据均迁移至第二数据系统后,第二应用服务被废弃。
如图2所示,第一数据系统和第二数据系统需要与总账系统以及下游数据平台进行交互。其中,第一数据系统和第二数据系统为总账系统供数的方式可以为:第一数据系统和第二数据系统在并行期间分别为总账系统供数,由总账系统进行总账;或者,并行期间第一数据系统和第二数据系统先对数据进行合并处理后再向总账系统供数,具体的供数方式可以根据实际情况选择,本实施例在此不做限定。
下游数据平台在第一数据系统和第二数据系统并行期间,需要接收第一数据系统和第二数据系统老套数据,以为监管报送、BI分析、数据统计等下游平台提供核心数据,由下游数据平台进行处理。
如图2所示,第一数据系统的对外虚拟机构与第三方系统如外联系统、人行清算系统等进行交互,当第一数据系统中的所有数据均迁移至第二数据系统后,还需要将对外虚拟机构最后迁入至第二数据系统,使第二数据系统的对外接口指向第三方系统。
需要说明的是,在开始执行数据迁移之前,需要先对第二数据系统中的系统级参数进行维护,以便在数据迁移到第二数据系统后,第二数据系统可以对数据进行管理,并对外提供服务。其中,系统级参数包括:系统限额、利率、汇率、费率、牌价、收费标准、会计科目等,可以通过人工维护或者在管理端进行维护。
基于上述实施例介绍的数据迁移系统,本申请的实施例提供一种应用于上述数据迁移系统的基于数据迁移的交易处理方法。
请参考图3,为本申请实施例提供的基于数据迁移的交易处理方法的示意图一,如图3所示,该方法包括:
S10:采用预设数据迁移规则,将从第一数据系统获取的数据迁移至第二数据系统,并更新已迁移数据的迁移状态。
本实施例中,在数据迁移管理平台中定义数据迁移规则,以使得数据迁移管理平台的数据导出模块根据数据迁移规则,从第一数据系统中导出待迁移数据,通过数据转换模块和数据检核模块的转换以及检核后,通过数据导入模块将待迁移数据导入至第二数据系统。
每完成一个数据或者一批数据的迁移,数据迁移管理平台向双发迁移适配器发送数据迁移完成消息,该数据迁移完成消息中包括:数据的标识信息和数据的迁移状态,其中数据的迁移状态为已迁移,双发迁移适配器保存该数据的标识信息和数据的迁移状态,对于双发迁移适配器中未记录的数据,确定其迁移状态为未迁移。
S20:在将第一数据系统中的数据迁移至第二数据系统中的数据迁移过程中,若接收到针对目标数据的交易请求,确定目标数据的迁移状态和目标数据的类型。
如图2所示,在数据迁移管理平台将第一数据系统中的数据迁移至第二数据系统的过程中,第二数据系统和第一数据系统处于并行运行状态,若双发迁移适配器接收到前置渠道或者上游系统发送的交易请求,需要对交易请求进行分流处理。
具体的,当双发迁移适配器接收到来自前置渠道或者上游系统发送的交易请求后,确定交易请求中所针对的目标数据的标识以及目标数据的类型,并以目标数据的标识作为索引,在保存的数据的标识信息和数据的迁移状态中查找目标数据的迁移状态,若查找到则确定目标数据的迁移状态为已迁移,若未查找到则确定目标数据的迁移状态为未迁移。
S30:根据目标数据的迁移状态和目标数据的类型,从第一数据系统和第二数据系统中确定目标数据系统。
本实施例中,针对不同迁移状态和不同类型的数据,其确定目标数据系统的方式不同,因此,需要结合目标数据的迁移状态和目标数据的类型,共同从第一数据系统和第二数据系统中确定目标数据系统。
S40:将交易请求转发至目标数据系统,以使得目标数据系统响应交易请求,对目标数据执行交易请求对应的交易操作。
本实施例中,双发迁移适配器在确定目标数据系统后,将交易请求转发给目标数据系统,由目标数据系统对目标数据执行交易请求,并将交易结果返回给前置渠道或者上游系统。
上述实施例提供的基于数据迁移的交易处理方法,采用预设数据迁移规则,将从第一数据系统获取的数据迁移至第二数据系统,并更新已迁移数据的迁移状态,在数据迁移过程中,根据交易请求所针对的目标数据的迁移状态和类型,从第一数据系统和第二数据系统中确定目标数据系统,将交易请求转发至目标数据系统,以使得目标数据系统对目标数据执行交易请求,从而实现了在数据迁移过程中第一数据系统和第二数据系统可以并行运行,且在数据迁移过程中也可以正常处理交易请求,实现无感数据迁移,由于在迁移期间无需停止服务,保证了业务的正常处理,既不会对企业造成损失,也不会影响客户体验。
在一种可能的实现方式中,在上述S10中采用预设数据迁移规则,将从第一数据系统获取的数据迁移至第二数据系统的过程,可以包括:
根据第一数据系统中所包含数据的类型,将各种类型的数据采用预设顺序依次迁移至第二数据系统。
本实施例中,由于第一数据系统中包含的数据种类繁多,为了保证数据迁移过程的有序进行,并在数据迁移失败时可以更好地执行回滚操作,需要根据数据的类型,对数据进行分类后,按照预设的顺序依次迁移至各个类型的数据依次迁移至第二数据系统。
在一些实施例中,请参考图4,为本申请实施例提供的基于数据迁移的交易处理方法的示意图二,如图4所示,上述根据第一数据系统中所包含数据的类型,将各种类型的数据采用预设顺序依次迁移至第二数据系统的过程,可以包括:
S11:对第一数据系统中的数据进行分类,得到多种类型的数据,其中,多种类型的数据包括:客户类数据和机构类数据。
本实施例中,在数据迁移之前,对第一核心系统中的存量数据进行分类,得到客户类数据、机构类数据以及系统级业务参数,其中,系统级业务参数不需要进行迁移,可以自行在第二数据系统中配置系统级业务参数,即将待迁移数据分为客户类数据和非客户类的机构类数据。示例的,在银行数据系统中,客户数据可以包括:客户签约信息、客户账户信息、客户登记簿和客户关联信息等;机构类数据可以包括:内部帐、清算头寸、重要空白凭证、尾箱、现金、机构登记簿、清算、总账费用等。
S12:将第一数据系统中每个机构下的客户类数据迁移至第二数据系统。
本实施例中,以机构为单位,先对每个机构下的客户类数据进行迁移。其中,数据迁移管理平台对客户类数据以单客户为最小数据单元,采用分批动态增量迁移的方式将每个机构下的客户类数据从第一数据系统迁移至第二数据系统。
具体的,数据迁移管理平台以单客户为最小数据单元提取数据的过程为:先提取客户信息,如客户基本信息、客户签约信息和客户凭证信息等,然后根据客户与账户之间的关系,提取客户的账户信息,如分户账、明细账、历史明细等;然后根据账户信息,提取客户的登记簿信息,如挂失解挂、冻结解冻、预授权、账户签约信息等;最后根据客户信息和账户信息,提取客户账户的关联系统,如客户账户管控信息、客户预约信息、客户和账户的限额信息、强关联客户关系等,数据提取完成后,将提取的数据进行规则转换、检核后导入至第二数据系统。
数据迁移管理平台在将客户类数据迁移至第二数据系统后,对数据进行规则检查和总分检查,确定客户类数据是否完整、正确地迁移至第二数据系统。
在检查数据迁移正确后,向双发迁移适配器发送数据迁移完成消息,该数据迁移完成消息中包括:客户类数据的客户号和迁移状态,该迁移状态为已迁移。
在一些实施例中,由工作人员对第一数据系统中的客户按照预设规则进行筛选,形成迁移客户列表,并将迁移客户列表输入至数据迁移管理平台,数据迁移管理平台依据迁移客户列表从第一数据系统中获取客户类数据。
其中,由于客户类数据包含的内容较多,为了保障客户类数据的迁移完成性,在对客户类数据迁移前,需要对待迁移的客户类数据进行锁定,并向双发迁移适配器发送迁移通知信息,该迁移通知信息中包括:客户类数据的客户号和迁移状态,此时的迁移状态为迁移中,若此时双发迁移路由器接收到针对该客户类数据的交易请求,则不能办理业务。当迁移完成后,在双发迁移适配器中将迁移状态更第二为已迁移。
需要说明的是,针对存款类科目帐,在迁移过程中,第一数据系统中的科目帐同期实时减少,第二数据系统中的科目帐实时增加。
S13:当检测到每个机构下的客户类数据迁移完成后,将第一数据系统中每个机构的机构类数据迁移至第二数据系统。
本实施例中,当机构下属的所有客户类数据的迁移进度为100%时,确定该机构具备迁入第二数据系统的条件,数据迁移管理平台可以随时将该机构的机构类数据迁移至第二数据系统。其中,数据迁移管理平台对机构类数据以分支机构为最小数据单元,采用动态增量迁移的方式将每个机构的机构类数据从第一数据系统迁移至第二数据系统。
具体的,数据迁移管理平台以分支机构为最小数据单元提取数据的过程为:
数据迁移管理平台在确定机构下属的所有客户类的迁移进度为100%时,确定该机构为待迁移机构,判断待迁移机构是否为日终状态,若待迁移机构为日终状态,提取待迁移机构的内部帐、清算头寸、重要空白凭证、尾箱、现金、机构登记簿、清算、总账费用等机构类数据,数据提取完成后,将提取的数据进行规则转换、检核后导入至第二数据系统。
其中,在确定待迁移机构为日终状态后,需要对待迁移的机构类数据进行锁定,并向双发迁移适配器发送迁移通知信息,该迁移通知信息中包括:机构类数据的机构号和迁移状态,此时的迁移状态为迁移中,若此时双发迁移路由器接收到针对该机构类数据的交易请求,则不能办理业务。当迁移完成后,在双发迁移适配器中将迁移状态更第二为已迁移。
数据迁移管理平台在将机构类数据迁移至第二数据系统后,对数据进行规则检查和总分检查,确定机构类数据是否完整、正确地迁移至第二数据系统。
在检查数据迁移正确后,向双发迁移适配器发送数据迁移完成消息,该数据迁移完成消息中包括:机构类数据的机构号和迁移状态。
在所有的客户类数据和机构类数据均迁移完成后,将第一数据系统的对外虚拟机构所交互的第三方系统也迁移至第二数据系统,使第二数据系统的对外接口指向第三方系统,完成第一数据系统和第二数据系统的切换,第一数据系统不再使用,完全由第二数据系统提供服务。
上述实施例提供的基于数据迁移的交易处理方法,通过对第一数据系统中的数据进行分类,将各个类型的数据采用预设顺序依次迁移至第二数据系统,保证数据迁移过程的有序进行,在迁移异常时便于回滚,提高数据迁移的效率。更进一步地,以机构为单位,先对机构的客户类数据进行迁移,在机构的客户类数据迁移完成后再对机构类数据进行迁移,使迁移过程简洁有序,便于管理。
请参考图5,为本申请实施例提供的基于数据迁移的交易处理方法的示意图三,如图5所示,上述S12中将第一数据系统中每个机构下的客户类数据迁移至第二数据系统的过程,可以包括:
S121:获取客户类数据的迁移配置参数,其中,迁移配置参数至少包括:迁移频次、批量迁移数量。
本实施例中,数据迁移管理平台中的迁移批次管理模块用于对迁移配置参数管理,通过在迁移批次管理模块中设置迁移配置参数,以对迁移过程进行管理。其中,迁移配置参数可以包括:迁移频次、批量迁移数据、迁移批次划分、迁移任务排程等,其中,迁移频次用于限制不同迁移时间段的迁移频率,例如,在工作时间段内由于要处理的交易请求数据比较多,为了避免无法正常提供服务,将迁移频次设置为低频次,即在该时间段内进行低频率的数据迁移;在非工作时间段内无需提供服务,将迁移频次设置为高频次,即在该时间段内进行高频率的数据迁移。
批量迁移数量为每次可以批量迁移的客户类数据的数量,迁移批次划分可以为将迁移客户列表中的待迁移客户数据划分为不同批次以分批迁移,迁移任务排程可以为对客户类数据的迁移顺序进行排程,例如需要先对客户类数据中的客户基本信息进行迁移,之后才能迁移明细信息,如果未按照迁移任务排程进行迁移,可能导致数据迁移至第二数据系统后的关联关系被打乱。
S122:根据迁移频次,将从第一数据系统中获取的每个机构下的批量迁移数量的客户类数据迁移至第二数据系统。
本实施例中,基于迁移频次定期从第一数据系统中获取批量迁移数量的客户类数据,对该批量迁移数量的客户类数据进行规则转换、检核后导入至第二数据系统。
上述实施例提供的基于数据迁移的交易处理方法,基于客户类数据的迁移配置参数,对客户类数据进行数据迁移,保证数据迁移过程的有序进行,避免迁移混乱导致迁移出错,提高数据迁移的准确率。
在一种可能的实现方式中,若交易请求所针对的目标数据的类型为机构类数据,上述S30中根据目标数据的迁移状态和目标数据的类型,从第一数据系统和第二数据系统中确定目标数据系统的过程,可以包括:
若机构类数据的迁移状态为未迁移,将交易请求发送至第一数据系统;若机构类数据的迁移状态为已迁移,将交易请求发送至第二数据系统。
本实施例中,针对机构类数据的交易请求,双发迁移适配器在接收到交易请求,确定交易请求所针对的目标数据为机构类数据时,以该机构类数据的机构号为索引,查询该机构类数据的迁移状态是已迁移、未迁移还是迁移中。其中,若该机构类数据的迁移状态是已迁移,则双发迁移适配器将该交易请求发送至第二数据系统进行处理;若该机构类数据的迁移状态是未迁移,则双发迁移适配器将该交易请求发送至第一数据系统进行处理;若该机构类数据的迁移状态为迁移中,则直接向前置渠道或者上游系统发送提示信息,以提示该机构当前处于暂停服务期间。
示例的,针对机构类数据的交易请求,可以包括:外币兑换、零钱兑换、残币回收、凭证管理、尾箱管理、尾箱信息查询等,其中,凭证管理包括:重要空白凭证申领、上缴、作废等,尾箱管理包括:凭证领用、调拨等。
上述实施例提供的基于数据迁移的交易处理方法,针对机构类数据的交易请求,在机构类数据的迁移状态为未迁移时,将交易请求发送至第一数据系统;在机构类数据的迁移状态为已迁移时,将交易请求发送至第二数据系统,实现在机构类数据的无感迁移,不会影响针对机构类数据的交易请求的正常进行,避免企业损失和影响客户体验。
在一种可能的实现方式中,请参考图6,为本申请实施例提供的基于数据迁移的交易处理方法的示意图四,如图6所示,若交易请求所针对的目标数据的类型为客户类数据,上述S30中根据目标数据的迁移状态和目标数据的类型,从第一数据系统和第二数据系统中确定目标数据系统的过程,可以包括:
S31:若客户类数据的迁移状态为未迁移,将交易请求发送至第一数据系统。
本实施例中,针对客户类数据的交易请求,双发迁移适配器在接收到交易请求,确定交易请求所针对的目标数据为客户类数据时,以该客户类数据的客户号为索引,查询该客户类数据的迁移状态是已迁移、未迁移还是迁移中。其中,若该客户类数据的迁移状态是未迁移,则双发迁移适配器将该交易请求发送至第一数据系统进行处理;若该客户类数据的迁移状态为迁移中,则直接向前置渠道或者上游系统发送提示信息,以提示该客户当前处于暂停服务期间;若该客户类数据的迁移状态是已迁移,则双发迁移适配器需要进一步判断该交易请求中涉及的交易双方所属的机构类数据的迁移状态。
S32:若客户类数据的迁移状态为已迁移,确定交易请求中的交易双方客户的所属机构的迁移状态。
本实施例中,双发迁移适配器以“客户号和客户迁移状态”作为第二数据系统分流的路由,以“机构号和机构迁移状态”作为第二数据系统中不同应用服务的路由,当确定客户类数据的迁移状态为已迁移时,需要判断交易请求中的交易双方客户的所属机构的迁移状态,以交易双方客户的所属机构的机构号为索引,查询双方机构类数据的迁移状态是已迁移、未迁移还是迁移中。
S331:若交易双方客户中的双方所属机构的迁移状态均为已迁移,则将交易请求发送至第二数据系统中的第一类应用服务。
S332:若交易双方客户中存在一方所属机构的迁移状态为未迁移,则将交易请求发送至第二数据系统中的第二类应用服务,第二类应用服务通过第一数据系统中的接口访问第一数据系统。
本实施例中,针对第一数据系统和第二数据系统的交互处理,为了减少第二数据系统的路由改造工作量和复杂度,在第二数据系统的交易中心开发一套涉及第一数据系统和第二数据系统交互场景的第二类应用服务。具体的,对第二数据系统提供的现有的服务列表进行识别,确定涉及第一数据系统和第二数据系统交互的服务,依据识别到的服务开发第二类应用服务,其中,第一类应用服务为第二数据系统中原本的应用服务,第一类应用服务用于处理不涉及第一数据系统和第二数据系统交互的交易请求,第二类应用服务用于处理涉及第一数据系统和第二数据系统交互的交易请求。示例的,涉及第一数据系统和第二数据系统交互的服务包括:内部帐、清算头寸、重要空白凭证、尾箱、现金、机构登记簿、清算、总账费用等。
为了与第二类应用服务进行交互,在第一数据系统中开发非客户业务API接口,API接口提供的服务包含:内部帐、清算头寸、重要空白凭证、尾箱、现金、机构登记簿、清算、总账费用等。
机构类数据时钟保持在单一数据系统中存放,针对未迁移至第二数据系统中的机构类数据,需以第一数据系统为准,第二数据系统中的第二类应用服务指向第一数据系统中的非客户业务API接口,通过调用非客户业务API接口访问第一数据系统,以使得第一数据系统针对交易请求提供服务。
当所有的机构类数据均迁移至第二数据系统后,第二类应用服务的生命周期结束,对第二类应用服务进行废弃处理。
上述实施例提供的基于数据迁移的交易处理方法,针对客户类数据的交易请求,通过判断交易请求所涉及的交易双方客户所属的机构的机构类数据是否已迁移至第二数据系统,在一方客户所属机构的机构类数据未迁移至第二数据系统时,也能通过第二数据系统中的第二类应用服务访问第一数据系统,以正常为客户提供服务,实现无感数据迁移。
请参考图7,为本申请实施例提供的基于数据迁移的交易处理方法的示意图五,如图7所示,若交易请求为针对多个客户类数据的交易请求,该方法还可以包括:
S51:根据多个客户类数据的迁移状态,将交易请求拆分为两类交易子请求。
本实施例中,针对批量客户类数据的交易请求,由于请求中包括的客户类数据的迁移状态可能不同,为了在数据迁移过程中正常处理交易请求,需要将按照多个客户类数据的迁移状态,将交易请求拆分为两类交易子请求。其中,一类交易子请求中包含的部分客户类数据的迁移状态均为已迁移,另一类交易子请求中包含的部分客户类数据的迁移状态均为未迁移。
S52:根据多个客户类数据的迁移状态,从第一数据系统和第二数据系统中分别确定两类交易子请求对应的目标数据系统。
本实施例中,针对每个交易子请求中部分客户类数据的迁移状态,为每类交易子请求中确定目标数据系统,其中,部分客户类数据的迁移状态为已迁移的交易子请求的目标数据系统为第二数据系统,部分客户类数据的迁移状态为未迁移的交易子请求的目标数据系统为第一数据系统。
S53:将两类交易子请求分别发送至对应的目标数据系统。
本实施例中,将部分客户类数据的迁移状态为已迁移的交易子请求发送至第二数据系统,将部分客户类数据的迁移状态为未迁移的交易子请求发送至第一数据系统,由第一数据系统和第二数据系统分别对各交易子请求进行处理。
S54:对两类交易子请求对应的目标数据系统针对交易请求返回的交易结果进行合并。
本实施例中,对第一数据系统和第二数据系统分别返回的交易结果进行合并后发送至前置渠道或者上游系统。
需要说明的是,当交易请求中包括客户类数据的迁移状态为迁移中时,对该客户类数据不做交易处理,在合并交易结果时标明该客户当前无法服务;或者,当交易请求中包括客户类数据的迁移状态为迁移中时,直接直接向前置渠道或者上游系统发送提示信息,以提示目前无法处理该交易请求,需等待。
在一些实施例中,针对多个客户类数据的交易请求可以为由前置渠道或者上游系统发送的数据查询请求,在第一数据系统和第二数据系统分别针对部分客户类数据完成查询后,由数据查询合并处理模块对查询结果进行合并后返回至前置渠道或者上游系统。
在另一些实施例中,针对多个客户类数据的交易请求可以为业务系统定时触发的批量文件预处理请求,该请求由批量文件预处理模块进行处理,基于请求中客户类数据的迁移状态,将批量文件拆分为两部分,分别送入第一数据系统和第二数据系统进行处理,并在第一数据系统和第二数据系统返回批量处理结果后,对返回的明细进行合并。
上述实施例提供的基于数据迁移的交易处理方法,针对多个客户类数据的批量交易请求,可以根据多个客户类数据的迁移状态将批量交易请求拆分为两类交易子请求,由第一数据系统和第二数据系统分别进行处理后再将交易结果进行合并,保证在数据迁移过程中可以正常提供服务,实现无感数据迁移。
在一些实施例中,在执行上述基于数据迁移的交易处理方法之前,需要对第一数据系统和第二数据系统进行相关配置。其中包括:对属于第三方数据系统中的机构数据、柜员数据和客户数据等信息,仍然使用现有的员工中心和客户中心的第三方数据系统,不做迁移处理,第一数据系统中的产品参数也不做迁移处理。
在迁移之前,需要保证第一数据系统中跨清算中心的在途业务、审批业务全部完成,防止机构类数据迁移造成上下级机构信息缺失,业务不连续,清理补录数据完成,其他状态也需要满足迁移原则条件。
然后,在第二数据系统中开发第二类应用服务,在第一数据系统中设计API接口,使第二类应用服务指向API接口。
在迁移之前,需要对第二数据系统中的系统级业务参数进行初始化,并初始化机构科目帐余额为零,增加第一数据系统和第二数据系统间的系统内往来,设置双发迁移适配器的路由规则。
所有的数据和对外虚拟机构均迁移完成后,可以关闭双发迁移适配器,由订单转换中心对前置渠道和上游系统的交易请求进行处理,且并行期间的所有临时过渡功能,例如第一数据系统的API接口、数据迁移管理平台、数据查询合并处理模块、批量文件预处理模块、系统间往来模块、统一日启控制模块均可以关闭。
需要说的是,在数据迁移过程中,存在一些特殊业务场景的处理,如:客户归并、机构撤并、第二开客户、在途业务、第一数据系统内部帐中的客户账户转移、存款类内部账户转移、特殊日期需求、回退、生产验证阶段的特殊验证测试说明。
其中,针对客户归并,在客户类数据迁移期间,不能进行跨系统客户合并工作,所需客户合并工作须在第一数据系统完成后再迁移,或者由第二数据系统在完成迁移后再进行客户归并,以避免造成账务出错,无法核对,例如未迁移客户并入已迁移客户、已迁移客户并入未迁移客户;客户下属单账户归并跨越两个数据系统等。
针对机构撤并,在机构类数据迁移期间,不能进行跨系统的机构撤并工作,如需撤并机构,由第二数据系统在完成迁移后,再进行撤并处理,以避免造成账务出错,无法核对,例如撤并机构不能出现第一数据统运行的机构并入第二数据系统运行的机构,或者第二数据系统运行的机构并入第一数据系统运行的机构。
针对第二开客户,迁移期间第二开客户,机构类数据未迁移的将在第一数据系统进行办理,T+1日通过迁移方式进入第二数据系统;机构类数据已迁入的将在第二数据系统进行办理。
针对第一数据系统内部帐中的客户账户转移,内部账中没有客户号的客户账,按照机构类数据一次性迁入第二数据系统,例如保证金户、临时存款户、代发工资专户、应付商户款项、网商客户清算账户等。
针对存款类内部账户转移,存款类内部账户在客户迁移时,在第一数据系统同期实时扣减,在第二数据系统的科目账中实时增加,第一数据系统和第二数据系统之间的交互业务,将通过“系统间往来”进行过渡。
针对特殊日期需求,并行期间如遇跨年、月末、季末、结息日等,客户类数据迁移和机构类数据迁移操作限定不能在此特殊日期前后各1日内进行,如12月31日和1月1日。
针对生产验证阶段的特殊验证测试说明,在针对数据迁移系统进行生产验证阶段,采用交易流量双发方式验证第二数据系统是否与第一数据系统的业务处理结果一致。但是,为不干扰第一数据系统的业务正常办理,会出现针对第一数据系统和第二数据系统交互的第二类应用服务不能得到充分验证的情况,为此第二类应用服务的验证将在SIT(System Integration Testing,系统集成测试)和UAT(User Acceptance Test,用户验收测试)阶段进行专项测试验证。
在一些实施例中,在生产期进行验证,第一数据系统和第二数据系统处于并行状态,需要采用如下并行验证策略进行验证,所采用的比对工具例如可以为开源的比对工具spoon或现场定制开发比对工具,开发脚本参照行方统一标准。
第一、以单机构的每日所有客户每日凌晨日终空闲期内,在比对环境对第一数据系统和第二数据系统的交易报文、数据库表中的数据进行比对。
第二、当一业务齐全的机构内所有客户类数据和机构类数据都迁入第二数据系统后,每日凌晨日终空闲期在比对环境以机构维度比对存款交易报文、数据库中的数据、业务报表和数据状态对照报表。
第三、业务核对验证,主要是信息核对、账务核对,采取第一数据系统和第二数据系统交易对比的方式验证第二数据系统中业务的正确性,即对第二数据系统接收到的业务请求,与第一数据系统并发给第二数据系统的业务请求进行比对,如一致则机构报表一致。
第四、业务连续性验证,验证在第一数据系统中未完结的业务,在第二数据系统中是否能够继续按照业务规则完成业务。
并行验证的前提条件为:第一数据系统和第二数据系统的日终跑批均已完成,选择业务发生较少的实践地,第一数据系统和第二数据系统中包括一批一致的客户类数据,第一数据系统和第二数据系统中均由客户类数据齐全的机构。
当上述前提条件不存在时,可以选择具有特色的客户,例如同业客户、员工客户;选择分支机构、业务较全的机构、存在机构撤并的机构、开业时间比较长的机构作为生产期间验证的数据。
在并行期间进行验证时,需要对系统进行改造,在测试环境和生产环境中增加挡板层,对测试环境和生产环境执行交易请求的过程进行隔离,避免因为采用生产环境接收到的交易请求在测试环境中进行测试时,改变生产系统的数据。同时,还需要将第一数据系统需要从下游系统登记的数据也同步至第二数据系统。
在并行期间进行验证的验证项包括:交易报文、第一数据系统和第二数据系统中数据库中的表数据、机构的客户类数据和机构类数据均迁移完成后,不同维度统计表库中的数据量和余额。示例的,交易包括:对公定期、对公活期、个人储蓄、个人定期、个人结算、母子账户、对公通知、个人通知。
示例的,表2为本实施例提供的第一数据系统和第二数据系统中数据库中的表数据,表3为本实施例提供的不同维度统计表库中的数据量和余额。
表2第一数据系统和第二数据系统中数据库中的表数据
表3不同维度统计表库中的数据量和余额
通过生产阶段的验证比对,确定比对项的通过率为:数据量大的表验证数据覆盖率达到90%;数据量小的表验证数据覆盖率达到100%;账务表的覆盖率达到100%;验证数据连续性达到100%;验证数据正确率达到100%。
请参考图8,为本申请实施例提供的基于数据迁移的交易处理装置的示意图,如图8所示,该装置包括:
数据迁移模块10,用于采用预设数据迁移规则,将从第一数据系统获取的数据迁移至第二数据系统,并更新已迁移数据的迁移状态;
迁移状态确定模块20,用于在将第一数据系统中的数据迁移至第二数据系统中的数据迁移过程中,若接收到针对目标数据的交易请求,确定目标数据的迁移状态;
目标系统确定模块30,用于根据目标数据的迁移状态和目标数据的类型,从第一数据系统和第二数据系统中确定目标数据系统;
交易请求转发模块40,用于将交易请求转发至目标数据系统,以使得目标数据系统响应交易请求,对目标数据执行交易请求对应的交易操作。
可选的,数据迁移模块10,具体用于根据第一数据系统中所包含数据的类型,将各种类型的数据采用预设顺序依次迁移至第二数据系统。
可选的,数据迁移模块10,包括:
数据分类单元,用于对第一数据系统中的数据进行分类,得到多种类型的数据,其中,多种类型的数据包括:客户类数据和机构类数据;
客户类数据迁移单元,用于将第一数据系统中每个机构下的客户类数据迁移至第二数据系统;
机构类数据迁移单元,用于当检测到每个机构下的客户类数据迁移完成后,将第一数据系统中每个机构的机构类数据迁移至第二数据系统。
可选的,客户类数据迁移单元,包括:
迁移参数获取子单元,用于获取客户类数据的迁移配置参数,其中,迁移配置参数至少包括:迁移频次、批量迁移数量;
客户类数据迁移子单元,用于根据迁移频次,将从第一数据系统中获取的每个机构下的批量迁移数量的客户类数据迁移至第二数据系统。
可选的,目标系统确定模块30,具体用于若目标数据的类型为机构类数据,则若机构类数据的迁移状态为未迁移,将交易请求发送至第一数据系统;或者,用于若机构类数据的迁移状态为已迁移,将交易请求发送至第二数据系统。
可选的,目标系统确定模块30,包括:
第一确定单元,用于若目标数据的类型为客户类数据,则若客户类数据的迁移状态为未迁移,将交易请求发送至第一数据系统;或者,
机构状态确定单元,用于若客户类数据的迁移状态为已迁移,确定交易请求中的交易双方客户的所属机构的迁移状态;
第二确定单元,用于若交易双方客户中的双方所属机构的迁移状态均为已迁移,则将交易请求发送至第二数据系统中的第一类应用服务;
第三确定单元,用于若交易双方客户中存在一方所属机构的迁移状态为未迁移,则将交易请求发送至第二数据系统中的第二类应用服务,第二类应用服务通过第一数据系统中的接口访问第一数据系统。
可选的,若交易请求为针对多个客户类数据的交易请求,该装置还包括:
交易请求拆分装置,用于根据多个客户类数据的迁移状态,将交易请求拆分为两类交易子请求;
目标系统确定模块,还用于根据多个客户类数据的迁移状态,从第一数据系统和第二数据系统中分别确定两类交易子请求对应的目标数据系统;
交易请求转发模块,还用于将两类交易子请求分别发送至对应的目标数据系统;
交易结果合并模块,用于对两类交易子请求对应的目标数据系统针对交易请求返回的交易结果进行合并。
上述装置用于执行前述实施例提供的方法,其实现原理和技术效果类似,在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器,或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(Central Processing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
请参考图9,为本申请实施例提供的计算机设备的示意图,该计算机设备100包括:处理器101、存储介质102和总线,存储介质102存储有处理器101可执行的程序指令,当计算机设备100运行时,处理器101与存储介质102之间通过总线通信,处理器101执行程序指令,以执行上述方法实施例。具体实现方式和技术效果类似,这里不再赘述。
可选地,本发明还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时,执行上述方法实施例。具体实现方式和技术效果类似,这里不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取存储器(英文:Random Access Memory,简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于数据迁移的交易处理方法,其特征在于,所述方法包括:
采用预设数据迁移规则,将从第一数据系统获取的数据迁移至第二数据系统,并更新已迁移数据的迁移状态;
在将所述第一数据系统中的数据迁移至所述第二数据系统中的数据迁移过程中,若接收到针对目标数据的交易请求,确定所述目标数据的迁移状态和所述目标数据的类型;
根据所述目标数据的迁移状态和所述目标数据的类型,从所述第一数据系统和所述第二数据系统中确定目标数据系统;
将所述交易请求转发至所述目标数据系统,以使得所述目标数据系统响应所述交易请求,对所述目标数据执行所述交易请求对应的交易操作。
2.如权利要求1所述的方法,其特征在于,所述采用预设数据迁移规则,将从第一数据系统获取的数据迁移至第二数据系统,包括:
根据所述第一数据系统中所包含数据的类型,将各种类型的数据采用预设顺序依次迁移至所述第二数据系统。
3.如权利要求2所述的方法,其特征在于,所述根据所述第一数据系统中所包含数据的类型,将各种类型的数据采用预设顺序依次迁移至所述第二数据系统,包括:
对所述第一数据系统中的数据进行分类,得到多种类型的数据,其中,所述多种类型的数据包括:客户类数据和机构类数据;
将所述第一数据系统中每个机构下的客户类数据迁移至所述第二数据系统;
当检测到所述每个机构下的客户类数据迁移完成后,将所述第一数据系统中所述每个机构的机构类数据迁移至所述第二数据系统。
4.如权利要求2所述的方法,其特征在于,所述将所述第一数据系统中每个机构下的客户类数据迁移至所述第二数据系统,包括:
获取所述客户类数据的迁移配置参数,其中,所述迁移配置参数至少包括:迁移频次、批量迁移数量;
根据所述迁移频次,将从所述第一数据系统中获取的所述每个机构下的所述批量迁移数量的客户类数据迁移至所述第二数据系统。
5.如权利要求1所述的方法,其特征在于,所述根据所述目标数据的迁移状态和所述目标数据的类型,从所述第一数据系统和所述第二数据系统中确定目标数据系统,包括:
若所述目标数据的类型为机构类数据,则若所述机构类数据的迁移状态为未迁移,将所述交易请求发送至所述第一数据系统;或者,
若所述机构类数据的迁移状态为已迁移,将所述交易请求发送至所述第二数据系统。
6.如权利要求1所述的方法,其特征在于,所述根据所述目标数据的迁移状态和所述目标数据的类型,从所述第一数据系统和所述第二数据系统中确定目标数据系统,包括:
若所述目标数据的类型为客户类数据,则若所述客户类数据的迁移状态为未迁移,将所述交易请求发送至所述第一数据系统;或者,
若所述客户类数据的迁移状态为已迁移,确定所述交易请求中的交易双方客户的所属机构的迁移状态;
若所述交易双方客户中的双方所属机构的迁移状态均为已迁移,则将所述交易请求发送至所述第二数据系统中的第一类应用服务;
若所述交易双方客户中存在一方所属机构的迁移状态为未迁移,则将所述交易请求发送至所述第二数据系统中的第二类应用服务,所述第二类应用服务通过所述第一数据系统中的接口访问所述第一数据系统。
7.如权利要求2所述的方法,其特征在于,若所述交易请求为针对多个客户类数据的交易请求,所述方法还包括:
根据所述多个客户类数据的迁移状态,将所述交易请求拆分为两类交易子请求;
根据所述多个客户类数据的迁移状态,从所述第一数据系统和所述第二数据系统中分别确定所述两类交易子请求对应的目标数据系统;
将所述两类交易子请求分别发送至对应的目标数据系统;
对所述两类交易子请求对应的目标数据系统针对所述交易请求返回的交易结果进行合并。
8.一种基于数据迁移的交易处理装置,其特征在于,所述装置包括:
数据迁移模块,用于采用预设数据迁移规则,将从第一数据系统获取的数据迁移至第二数据系统,并更新已迁移数据的迁移状态;
迁移状态确定模块,用于在将所述第一数据系统中的数据迁移至所述第二数据系统中的数据迁移过程中,若接收到针对目标数据的交易请求,确定所述目标数据的迁移状态;
目标系统确定模块,用于根据所述目标数据的迁移状态和所述目标数据的类型,从所述第一数据系统和所述第二数据系统中确定目标数据系统;
交易请求转发模块,用于将所述交易请求转发至所述目标数据系统,以使得所述目标数据系统响应所述交易请求,对所述目标数据执行所述交易请求对应的交易操作。
9.一种计算机设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的程序指令,当计算机设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述程序指令,以执行如权利要求1至7任一所述的基于数据迁移的交易处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至7任一所述的基于数据迁移的交易处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211478209.XA CN115858489A (zh) | 2022-11-23 | 2022-11-23 | 基于数据迁移的交易处理方法、装置、计算机设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211478209.XA CN115858489A (zh) | 2022-11-23 | 2022-11-23 | 基于数据迁移的交易处理方法、装置、计算机设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115858489A true CN115858489A (zh) | 2023-03-28 |
Family
ID=85665578
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211478209.XA Pending CN115858489A (zh) | 2022-11-23 | 2022-11-23 | 基于数据迁移的交易处理方法、装置、计算机设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115858489A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117172925B (zh) * | 2023-11-03 | 2024-02-20 | 建信金融科技有限责任公司 | 一种交易处理方法、装置、设备及介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112860670A (zh) * | 2021-03-29 | 2021-05-28 | 中信银行股份有限公司 | 数据迁移方法、装置、电子设备及计算机存储介质 |
CN113222751A (zh) * | 2021-02-18 | 2021-08-06 | 百果园技术(新加坡)有限公司 | 一种数据迁移方法和装置 |
CN114218187A (zh) * | 2021-11-16 | 2022-03-22 | 中国建设银行股份有限公司 | 数据在线迁移方法、装置、电子设备及存储介质 |
CN114297181A (zh) * | 2021-12-28 | 2022-04-08 | 中国邮政储蓄银行股份有限公司 | 数据迁移的处理方法以及装置 |
CN114328462A (zh) * | 2021-12-31 | 2022-04-12 | 中国邮政储蓄银行股份有限公司 | 数据迁移的处理方法、装置与计算机可读存储介质 |
CN114416689A (zh) * | 2021-12-07 | 2022-04-29 | 上海浦东发展银行股份有限公司 | 数据迁移方法、装置、计算机设备、存储介质 |
CN114625723A (zh) * | 2022-03-29 | 2022-06-14 | 金蝶蝶金云计算有限公司 | 数据迁移方法、装置、计算机设备和存储介质 |
CN115098468A (zh) * | 2022-06-28 | 2022-09-23 | 平安银行股份有限公司 | 灵活的数据迁移方法、装置、存储介质及电子设备 |
-
2022
- 2022-11-23 CN CN202211478209.XA patent/CN115858489A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113222751A (zh) * | 2021-02-18 | 2021-08-06 | 百果园技术(新加坡)有限公司 | 一种数据迁移方法和装置 |
CN112860670A (zh) * | 2021-03-29 | 2021-05-28 | 中信银行股份有限公司 | 数据迁移方法、装置、电子设备及计算机存储介质 |
CN114218187A (zh) * | 2021-11-16 | 2022-03-22 | 中国建设银行股份有限公司 | 数据在线迁移方法、装置、电子设备及存储介质 |
CN114416689A (zh) * | 2021-12-07 | 2022-04-29 | 上海浦东发展银行股份有限公司 | 数据迁移方法、装置、计算机设备、存储介质 |
CN114297181A (zh) * | 2021-12-28 | 2022-04-08 | 中国邮政储蓄银行股份有限公司 | 数据迁移的处理方法以及装置 |
CN114328462A (zh) * | 2021-12-31 | 2022-04-12 | 中国邮政储蓄银行股份有限公司 | 数据迁移的处理方法、装置与计算机可读存储介质 |
CN114625723A (zh) * | 2022-03-29 | 2022-06-14 | 金蝶蝶金云计算有限公司 | 数据迁移方法、装置、计算机设备和存储介质 |
CN115098468A (zh) * | 2022-06-28 | 2022-09-23 | 平安银行股份有限公司 | 灵活的数据迁移方法、装置、存储介质及电子设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117172925B (zh) * | 2023-11-03 | 2024-02-20 | 建信金融科技有限责任公司 | 一种交易处理方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11599555B2 (en) | Data manifest as a blockchain service | |
US10437630B2 (en) | System for transforming large scale electronic processing using application block chain and multi-structured data stores | |
US8589510B2 (en) | Method and system of synchronizing accounting objects between a client and server | |
US8738476B2 (en) | Architectural design for selling standardized services application software | |
CN108734457B (zh) | 一种统一收银系统下的退款方法 | |
CN110910230A (zh) | 一种记账方法、记账系统及存储介质 | |
CN109919758B (zh) | 经由区块链用于社会储蓄平台的方法和系统 | |
WO2019019447A1 (zh) | 年金数据处理方法、装置、服务器和存储介质 | |
CN111382081A (zh) | 分录验证测试方法和装置 | |
CN111047310A (zh) | 数字资产的发行和转让、在线融资的实现方法和装置 | |
CN111091358A (zh) | 多支付渠道的统一处理方法及系统 | |
CN115858489A (zh) | 基于数据迁移的交易处理方法、装置、计算机设备及介质 | |
CN113657846A (zh) | 一种财务共享模式下企业资金管理方法及系统 | |
CN112258306A (zh) | 账务信息核对的方法、装置、电子设备和存储介质 | |
US11875416B2 (en) | Systems and methods for immutable historic records from cloud storage systems | |
WO2023039143A1 (en) | Reconciliating payment transactions performed by a payment service provider | |
US11556320B2 (en) | Electronic system for dynamic analysis and detection of transformed transient data in a distributed system network | |
CN113706107A (zh) | 公积金缴存方法、装置、电子设备及计算机可读介质 | |
Financial Big Data Reconciliation Method | ||
CN114546872B (zh) | 一种凭证管理测试方法、装置、计算机设备及存储介质 | |
CN111161048B (zh) | 一种资金归集自动过账的应用方法及装置 | |
JP7430174B2 (ja) | トランザクション処理エコシステムを実施するためのシステムおよび方法 | |
Tsai et al. | Blockchains with Five Merkle Trees to Support Financial Transactions | |
Zhang | Blockchains with Five Merkle Trees to Support Financial Transactions | |
CN113469801A (zh) | 审核结果的确定方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |