CN109460439A - 一种数据处理方法、装置、介质和电子设备 - Google Patents
一种数据处理方法、装置、介质和电子设备 Download PDFInfo
- Publication number
- CN109460439A CN109460439A CN201811353648.1A CN201811353648A CN109460439A CN 109460439 A CN109460439 A CN 109460439A CN 201811353648 A CN201811353648 A CN 201811353648A CN 109460439 A CN109460439 A CN 109460439A
- Authority
- CN
- China
- Prior art keywords
- target data
- database
- peripheral system
- subdata
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/08—Insurance
Abstract
本发明实施例提供一种数据处理方法、装置、介质和电子设备。方法包括:依据预设的记录有目标数据导出相关信息的第一脚本,从核心系统的数据库中获取目标数据;将所获取到的目标数据保存为目标文件,并将目标文件存储在外围系统的数据库服务器中;从数据库服务器中获取目标文件,并依据预设的记录有目标数据导入相关信息的第二脚本,将目标文件对应的目标数据导入外围系统的数据库中。本发明实施例借助于第一脚本实现从核心系统的数据库中获取目标数据,借助于第二脚本实现将获取到的目标数据导入至外围系统的数据库中,本发明实施例支持不同类型的数据库之间的数据交互,实现了轻量化大数据量的数据同步,且成本较低。
Description
技术领域
本发明涉及信息处理技术领域,尤其涉及一种数据处理方法、装置、介质和电子设备。
背景技术
保险行业中,保单、客户、代理人等核心数据均会存储在公司的核心系统中,一些涉及相关数据的业务功能也会在核心系统中开发完成,而随着公司业务的持续发展,业务渠道、业务场景的不断增加,核心系统的压力也不断增加。为了保证核心系统高效稳定地运行,目前提出了将一些相对独立且业务模块不断增加的业务功能独立于核心系统之外,即具体将这些业务功能迁移至外围系统,使得核心系统逐渐成为公司的数据仓库,以此保证核心系统的高效稳定运行。
虽然业务功能迁移至外围系统,但其基础数据仍依赖于核心系统,需要外围系统实时与核心系统连接,以获取核心系统中的数据。
目前,外围系统获取核心系统中数据的获取方式包括以下几种:
1)如果外围系统获取的数据量较小,则外围系统可以直接通过接口从核心系统中获取数据;
2)如果外围系统获取的数据量较大,则外围系统通过与核心系统直连的方式,从核心系统中获取数据;
3)在外围系统中安装配置ETL(Extract-Transform-Load,抽取-交互转换-加载)工具,借助于ETL工具从核心系统中获取数据。
然而,获取方式1)只适用于小数据量的处理情况,应用局限性较大;获取方式2)要求外围系统中的数据库类型与核心系统中的数据库类型必须一致,即获取方式2)仅适用于同一类型数据库间的数据交互,应用局限性也较大;获取方式3)则要求外围系统中安装配置ETL工具,而ETL工具的维护成本较高。
发明内容
有鉴于此,本发明提供一种数据处理方法、装置、介质和电子设备。技术方案如下:
基于本发明实施例的一方面,本发明实施例提供一种数据处理方法,应用于外围系统,方法包括:
依据预设的记录有目标数据导出相关信息的第一脚本,从核心系统的数据库中获取目标数据;
将所获取到的目标数据保存为目标文件,并将所述目标文件存储在所述外围系统的数据库服务器中;
从所述外围系统的数据库服务器中获取所述目标文件,并依据预设的记录有目标数据导入相关信息的第二脚本,将所述目标文件对应的目标数据导入所述外围系统的数据库中。
可选地,将所述目标文件对应的目标数据导入所述外围系统的数据库中之后,所述方法还包括:
根据业务需求,对导入所述外围系统的数据库中的目标数据进行处理,并记录处理结果;
将所述处理结果存储至所述外围系统的数据库服务器的预设文件中,以使得监控平台从所述预设文件中读取所述处理结果,进而将所述处理结果通知至相关负责人。
可选地,所述监控平台将所述处理结果通知至相关负责人的通知方式包括如下至少一种:微信通知、短信通知、邮件通知、电话通知。
可选地,将所述处理结果存储至所述外围系统的数据库服务器的预设文件中包括:
利用开源监控工具Zabbix获取所述处理结果,并将所述处理结果格式化后存储至所述外围系统的数据库服务器的预设文件中。
可选地,所述目标数据包括多条子数据,其中每条子数据分别对应一个标识,且所述标识具有初始值;所述根据业务需求,对导入所述外围系统的数据库中的目标数据进行处理,并记录处理结果包括:
当第一子数据成功处理完成后,将所述第一子数据的标识的初始值变更为第一阈值;
当第二子数据处理失败后,将所述第二子数据的标识的初始值变更为第二阈值;
所述记录处理结果具体为,记录各子数据的标识的值;
其中第一子数据、第二子数据均为所述目标数据中的任意一条子数据。
可选地,所述外围系统采用linux操作系统,方法还包括:
预先在所述linux操作系统中配置crontab指令;
通过所述crontab指令定时执行所述依据记录有目标数据导出相关信息的第一脚本,从核心系统的数据库中获取目标数据的步骤。
可选地,所述核心系统的数据库为DB2数据库,所述外围系统的数据库为oracle数据库,所述目标文件为txt文件。
基于本发明实施例的另一方面,本发明实施例提供一种数据处理装置,应用于外围系统,装置包括:
导出单元,用于依据预设的记录有目标数据导出相关信息的第一脚本,从核心系统的数据库中获取目标数据;
保存单元,用于将所获取到的目标数据保存为目标文件,并将所述目标文件存储在所述外围系统的数据库服务器中;
获取单元,用于从所述外围系统的数据库服务器中获取所述目标文件;
导入单元,用于依据预设的记录有目标数据导入相关信息的第二脚本,将所述目标文件对应的目标数据导入所述外围系统的数据库中。
基于本发明实施例的再一方面,本发明实施例提供一种存储介质,其上存储有程序,所述程序被处理器执行时实现前文所述的数据处理方法。
基于本发明实施例的再一方面,本发明实施例提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行前文所述的数据处理方法。
本发明实施例提供的数据处理方法、装置、介质和电子设备中,外围系统依据记录有目标数据导出相关信息的第一脚本,从核心系统的数据库中获取目标数据;将所获取到的目标数据保存为目标文件,并将目标文件存储在外围系统的数据库服务器中;进而外围系统从数据库服务器中获取目标文件,并依据预设的记录有目标数据导入相关信息的第二脚本,将目标文件对应的目标数据导入外围系统的数据库中。本发明实施例借助于第一脚本实现从核心系统的数据库中获取目标数据,借助于第二脚本实现将获取到的目标数据导入至外围系统的数据库中,因此在从外围系统获取核心系统中数据的实现过程中,本发明实施例不再局限于相同类型的数据库间的数据交互,而能够支持不同类型的数据库之间的数据交互,且本发明实施例支持大数据量的数据交互处理情况,实现了轻量化大数据量的数据同步。且本发明实施例不需要安装配置ETL工具,成本较低。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种数据处理方法的流程图;
图2为本发明实施例提供的另一种数据处理方法的流程图;
图3为本发明实施例提供的一种数据处理装置的结构示意图;
图4为本发明实施例提供的另一种数据处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,其示出了本发明实施例提供的一种数据处理方法的流程图,该方法具体应用于外围系统,方法可以包括:
步骤101,依据预设的记录有目标数据导出相关信息的第一脚本,从核心系统的数据库中获取目标数据。
本发明实施例中,第一脚本、第二脚本都是工作人员根据实际需要预先定义的,其中记录了与目标数据导出/导入的相关信息。具体地,第一脚本中记录了目标数据导出相关信息,比如包括目标数据所在文件的文件名称、目标数据所在文件的存储地址、目标数据所位于的数据范围等,第二脚本中记录了目标数据导入相关信息,比如包括目标数据所在文件的文件名称、目标数据所在文件的存储地址等。
本发明实施例中的外围系统依据第一脚本能够从核心系统的数据库中找到目标数据从而获取目标数据。
本发明实施例中的外围系统可以采用linux操作系统,工作人员可以预先在所述linux操作系统中配置crontab指令,该crontab指令为用于设置周期性被执行的指令,比如每天22点执行数据导出/导入,由此外围系统通过所述crontab指令定时执行步骤101。
本发明实施例中核心系统的数据库可以具体为DB2数据库,外围系统的数据库可以具体为oracle数据库。
步骤102,将所获取到的目标数据保存为目标文件,并将所述目标文件存储在所述外围系统的数据库服务器中。
外围系统获取到目标数据后,首先将所获取到的目标数据保存为目标文件,如保存为txt文件,进而将txt文件存储在外围系统的数据库服务器中。
步骤103,从所述外围系统的数据库服务器中获取所述目标文件,并依据预设的记录有目标数据导入相关信息的第二脚本,将所述目标文件对应的目标数据导入所述外围系统的数据库中。
在将txt文件成功存储至外围系统的数据库服务器中之后,外围系统从数据库服务器中获取该txt文件,进而依据预设的记录有目标数据导入相关信息的第二脚本,将txt文件对应的目标数据导入至外围系统的数据库中。
因此应用本发明实施例提供的数据处理方法,外围系统依据记录有目标数据导出相关信息的第一脚本,从核心系统的数据库中获取目标数据;将所获取到的目标数据保存为目标文件,并将目标文件存储在外围系统的数据库服务器中;进而外围系统从数据库服务器中获取目标文件,并依据预设的记录有目标数据导入相关信息的第二脚本,将目标文件对应的目标数据导入外围系统的数据库中。本发明实施例借助于第一脚本实现从核心系统的数据库中获取目标数据,借助于第二脚本实现将获取到的目标数据导入至外围系统的数据库中,因此在从外围系统获取核心系统中数据的实现过程中,本发明实施例不再局限于相同类型的数据库间的数据交互,而能够支持不同类型的数据库之间的数据交互,且本发明实施例支持大数据量的数据交互处理情况,实现了轻量化大数据量的数据同步。且本发明实施例不需要安装配置ETL工具,成本较低。
在实际应用过程中,外围系统获取到目标数据后是需要根据实际的业务需求,对获取到的目标数据执行相应处理,比如需要核对保单信息时,获取到的目标数据例如包括投保人信息、被保人信息、保单账号信息、保单成立日期等,这时外围系统就需要将获取到的目标数据与分别记载有投保人信息、被保人信息、保单账号信息、保单成立日期的一个或多个表进行信息匹配。
因此在前述实施例的基础上,如图2所示,在步骤103之后,方法还可以包括:
步骤104,根据业务需求,对导入所述外围系统的数据库中的目标数据进行处理,并记录处理结果。
导入至外围系统的数据库中的目标数据包含多条子数据,每一条子数据都需要根据业务需求执行相应的处理。
在本发明实施例的实现过程中,对于每一条子数据,本发明实施例可以预先分别为其分配一个标识,比如mark,并赋予该mark的初始值,如初始值等于0。具体地:
当第一子数据成功处理完成后,本发明实施例将该第一子数据的mark的初始值变更为第一阈值,比如1,即当第一子数据的mark等于1时,表示该第一子数据已成功处理完成;
当第二子数据处理失败后,本发明实施例将该第二子数据的mark的初始值变更为第二阈值,比如2,即当第二子数据的mark等于2时,表示该第二子数据处理失败;
其中第一子数据、第二子数据均为所述目标数据中的任意一条子数据。
当然,如果本发明实施例中某条子数据的mark仍等于初始值0,则表示该条子数据处于待处理状态。
本发明实施例中,每条子数据对应的标识表示了该子数据的处理状态,因此本发明实施例可以直接记录各子数据的标识的值,便实现了所有目标数据的处理结果的记录。
步骤105,将所述处理结果存储至所述外围系统的数据库服务器的预设文件中,以使得监控平台从所述预设文件中读取所述处理结果,进而将所述处理结果通知至相关负责人。
在获取到目标数据的处理结果后,本发明实施例将该处理结果存储至数据库服务器的预设文件中,这样监控平台就能够及时从数据库服务器的预设文件中读取所述处理结果,进而将所述处理结果通知至相关负责人。
具体地,本发明实施例中监控平台可以采用如下方式中的至少一种将所述处理结果通知至相关负责人,如监控平台通过微信通知的方式通知相关负责人、监控平台通过短信通知的方式通知相关负责人、监控平台通过邮件通知的方式通知相关负责人、监控平台通过电话通知的方式通知相关负责人等。
相关负责人接收到所述处理结果后,能够及时根据处理情况判断是否需要手工运维,从而保证系统稳定。
可选地,本发明实施例在获取到目标数据的处理结果后,可以利用开源监控工具Zabbix获取所述处理结果,通过利用所述开源监控工具Zabbix先将所述处理结果格式化后,再将格式化后的处理结果存储至数据库服务器的预设文件中,因为格式化后的处理结果的数据逻辑清晰、格式规范,这更有助于相关负责人清楚、便捷地查看处理结果。
为了进一步便于对本发明实施例提供的数据处理方法更为清楚的理解,申请人现以外围系统具体为个险续期管理系统,核心系统具体为个险核心业务系统为例进一步说明。
个险续期管理系统是针对全国续期人员所负责的保单生成相应的任务,用户进入系统后根据保单的情况同负责保单的业务员或者客户联系,保证保单的收费和相关服务。
个险续期管理系统中的基础保单数据全部来自于个险核心业务系统,保单数据量较大,且个险续期管理系统需要根据每日保单变化类型,生成新的任务或者针对已有任务进行相应的处理逻辑。针对此,本发明实施例提供的数据处理方法能够在每日的固定时间,依据预设的记录有基础保单数据导出相关信息的第一脚本,从个险核心业务系统的数据库中获取基础保单数据,以及依据预设的记录有基础保单数据导入相关信息的第二脚本,将基础保单数据导入个险续期管理系统的数据库中。
在根据实际的业务需求对导入的基础保单数据进行相应处理后,将记录的处理结果及时存储至数据库服务器的预设文件中,使得监控平台从预设文件中及时读取处理结果,并将所述处理结果及时通知至相关负责人。如此,相关负责人可以根据收到的处理结果判断是否需要进行手工运维,这不仅保证了每日大数据量的快速同步,也使得相关负责人能够实时了解数据同步及处理情况。
基于前文本发明实施例提供的一种数据处理方法,本发明实施例还提供一种数据处理装置,该装置应用于外围系统,如图3所示,装置可以包括:
导出单元100,用于依据预设的记录有目标数据导出相关信息的第一脚本,从核心系统的数据库中获取目标数据;
保存单元200,用于将所获取到的目标数据保存为目标文件,并将所述目标文件存储在所述外围系统的数据库服务器中;
获取单元300,用于从所述外围系统的数据库服务器中获取所述目标文件;
导入单元400,用于依据预设的记录有目标数据导入相关信息的第二脚本,将所述目标文件对应的目标数据导入所述外围系统的数据库中。
本发明实施例中,外围系统可以采用linux操作系统,本发明实施例可以预先在所述linux操作系统中配置crontab指令,导出单元100通过所述crontab指令触发开始执行相应动作。
本发明实施例中,核心系统的数据库可以具体为DB2数据库,外围系统的数据库可以具体为oracle数据库,所述目标文件可以具体为txt文件。
可选地,如图4所示,本发明实施例提供的数据处理装置还可以包括:
处理单元500,用于根据业务需求,对导入所述外围系统的数据库中的目标数据进行处理,并记录处理结果;
存储单元600,用于将所述处理结果存储至所述外围系统的数据库服务器的预设文件中,以使得监控平台从所述预设文件中读取所述处理结果,进而将所述处理结果通知至相关负责人。
本发明实施例中,监控平台将所述处理结果通知至相关负责人的通知方式可以包括如下至少一种:微信通知、短信通知、邮件通知、电话通知。
可选地,存储单元600可以具体用于,利用开源监控工具Zabbix获取所述处理结果,并将所述处理结果格式化后存储至所述外围系统的数据库服务器的预设文件中。
可选地,本发明实施例中目标数据包括多条子数据,其中每条子数据分别对应一个标识,且所述标识具有初始值,例如为0。其中处理单元500具体用于:
当第一子数据成功处理完成后,将所述第一子数据的标识的初始值变更为第一阈值;
当第二子数据处理失败后,将所述第二子数据的标识的初始值变更为第二阈值;
所述记录处理结果具体为,记录各子数据的标识的值;
其中第一子数据、第二子数据均为所述目标数据中的任意一条子数据。
本发明实施例提供的数据处理装置包括处理器和存储器,上述导出单元100、保存单元200、获取单元300、导入单元400等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来实现从核心系统数据库中导出目标数据,以及将导出的目标数据导入外围系统的数据库中。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述数据处理方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述数据处理方法。
本发明实施例提供了一种电子设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:
依据预设的记录有目标数据导出相关信息的第一脚本,从核心系统的数据库中获取目标数据;
将所获取到的目标数据保存为目标文件,并将所述目标文件存储在所述外围系统的数据库服务器中;
从所述外围系统的数据库服务器中获取所述目标文件,并依据预设的记录有目标数据导入相关信息的第二脚本,将所述目标文件对应的目标数据导入所述外围系统的数据库中。
可选地,将所述目标文件对应的目标数据导入所述外围系统的数据库中之后,所述方法还包括:
根据业务需求,对导入所述外围系统的数据库中的目标数据进行处理,并记录处理结果;
将所述处理结果存储至所述外围系统的数据库服务器的预设文件中,以使得监控平台从所述预设文件中读取所述处理结果,进而将所述处理结果通知至相关负责人。
可选地,所述监控平台将所述处理结果通知至相关负责人的通知方式包括如下至少一种:微信通知、短信通知、邮件通知、电话通知。
可选地,将所述处理结果存储至所述外围系统的数据库服务器的预设文件中包括:
利用开源监控工具Zabbix获取所述处理结果,并将所述处理结果格式化后存储至所述外围系统的数据库服务器的预设文件中。
可选地,所述目标数据包括多条子数据,其中每条子数据分别对应一个标识,且所述标识具有初始值;所述根据业务需求,对导入所述外围系统的数据库中的目标数据进行处理,并记录处理结果包括:
当第一子数据成功处理完成后,将所述第一子数据的标识的初始值变更为第一阈值;
当第二子数据处理失败后,将所述第二子数据的标识的初始值变更为第二阈值;
所述记录处理结果具体为,记录各子数据的标识的值;
其中第一子数据、第二子数据均为所述目标数据中的任意一条子数据。
可选地,所述外围系统采用linux操作系统,方法还包括:
预先在所述linux操作系统中配置crontab指令;
通过所述crontab指令定时执行所述依据记录有目标数据导出相关信息的第一脚本,从核心系统的数据库中获取目标数据的步骤。
可选地,所述核心系统的数据库为DB2数据库,所述外围系统的数据库为oracle数据库,所述目标文件为txt文件。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:
依据预设的记录有目标数据导出相关信息的第一脚本,从核心系统的数据库中获取目标数据;
将所获取到的目标数据保存为目标文件,并将所述目标文件存储在所述外围系统的数据库服务器中;
从所述外围系统的数据库服务器中获取所述目标文件,并依据预设的记录有目标数据导入相关信息的第二脚本,将所述目标文件对应的目标数据导入所述外围系统的数据库中。
可选地,将所述目标文件对应的目标数据导入所述外围系统的数据库中之后,所述方法还包括:
根据业务需求,对导入所述外围系统的数据库中的目标数据进行处理,并记录处理结果;
将所述处理结果存储至所述外围系统的数据库服务器的预设文件中,以使得监控平台从所述预设文件中读取所述处理结果,进而将所述处理结果通知至相关负责人。
可选地,所述监控平台将所述处理结果通知至相关负责人的通知方式包括如下至少一种:微信通知、短信通知、邮件通知、电话通知。
可选地,将所述处理结果存储至所述外围系统的数据库服务器的预设文件中包括:
利用开源监控工具Zabbix获取所述处理结果,并将所述处理结果格式化后存储至所述外围系统的数据库服务器的预设文件中。
可选地,所述目标数据包括多条子数据,其中每条子数据分别对应一个标识,且所述标识具有初始值;所述根据业务需求,对导入所述外围系统的数据库中的目标数据进行处理,并记录处理结果包括:
当第一子数据成功处理完成后,将所述第一子数据的标识的初始值变更为第一阈值;
当第二子数据处理失败后,将所述第二子数据的标识的初始值变更为第二阈值;
所述记录处理结果具体为,记录各子数据的标识的值;
其中第一子数据、第二子数据均为所述目标数据中的任意一条子数据。
可选地,所述外围系统采用linux操作系统,方法还包括:
预先在所述linux操作系统中配置crontab指令;
通过所述crontab指令定时执行所述依据记录有目标数据导出相关信息的第一脚本,从核心系统的数据库中获取目标数据的步骤。
可选地,所述核心系统的数据库为DB2数据库,所述外围系统的数据库为oracle数据库,所述目标文件为txt文件。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本发明的实施例可提供为方法、系统或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本发明的实施例而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。
Claims (10)
1.一种数据处理方法,其特征在于,应用于外围系统,方法包括:
依据预设的记录有目标数据导出相关信息的第一脚本,从核心系统的数据库中获取目标数据;
将所获取到的目标数据保存为目标文件,并将所述目标文件存储在所述外围系统的数据库服务器中;
从所述外围系统的数据库服务器中获取所述目标文件,并依据预设的记录有目标数据导入相关信息的第二脚本,将所述目标文件对应的目标数据导入所述外围系统的数据库中。
2.根据权利要求1所述的方法,其特征在于,将所述目标文件对应的目标数据导入所述外围系统的数据库中之后,所述方法还包括:
根据业务需求,对导入所述外围系统的数据库中的目标数据进行处理,并记录处理结果;
将所述处理结果存储至所述外围系统的数据库服务器的预设文件中,以使得监控平台从所述预设文件中读取所述处理结果,进而将所述处理结果通知至相关负责人。
3.根据权利要求2所述的方法,其特征在于,所述监控平台将所述处理结果通知至相关负责人的通知方式包括如下至少一种:微信通知、短信通知、邮件通知、电话通知。
4.根据权利要求2或3所述的方法,其特征在于,将所述处理结果存储至所述外围系统的数据库服务器的预设文件中包括:
利用开源监控工具Zabbix获取所述处理结果,并将所述处理结果格式化后存储至所述外围系统的数据库服务器的预设文件中。
5.根据权利要求2所述的方法,其特征在于,所述目标数据包括多条子数据,其中每条子数据分别对应一个标识,且所述标识具有初始值;所述根据业务需求,对导入所述外围系统的数据库中的目标数据进行处理,并记录处理结果包括:
当第一子数据成功处理完成后,将所述第一子数据的标识的初始值变更为第一阈值;
当第二子数据处理失败后,将所述第二子数据的标识的初始值变更为第二阈值;
所述记录处理结果具体为,记录各子数据的标识的值;
其中第一子数据、第二子数据均为所述目标数据中的任意一条子数据。
6.根据权利要求1所述的方法,其特征在于,所述外围系统采用linux操作系统,方法还包括:
预先在所述linux操作系统中配置crontab指令;
通过所述crontab指令定时执行所述依据记录有目标数据导出相关信息的第一脚本,从核心系统的数据库中获取目标数据的步骤。
7.根据权利要求1所述的方法,其特征在于,所述核心系统的数据库为DB2数据库,所述外围系统的数据库为oracle数据库,所述目标文件为txt文件。
8.一种数据处理装置,其特征在于,应用于外围系统,装置包括:
导出单元,用于依据预设的记录有目标数据导出相关信息的第一脚本,从核心系统的数据库中获取目标数据;
保存单元,用于将所获取到的目标数据保存为目标文件,并将所述目标文件存储在所述外围系统的数据库服务器中;
获取单元,用于从所述外围系统的数据库服务器中获取所述目标文件;
导入单元,用于依据预设的记录有目标数据导入相关信息的第二脚本,将所述目标文件对应的目标数据导入所述外围系统的数据库中。
9.一种存储介质,其特征在于,其上存储有程序,所述程序被处理器执行时实现权利要求1至7中任一项所述的数据处理方法。
10.一种电子设备,其特征在于,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任一项所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811353648.1A CN109460439A (zh) | 2018-11-14 | 2018-11-14 | 一种数据处理方法、装置、介质和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811353648.1A CN109460439A (zh) | 2018-11-14 | 2018-11-14 | 一种数据处理方法、装置、介质和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109460439A true CN109460439A (zh) | 2019-03-12 |
Family
ID=65610454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811353648.1A Pending CN109460439A (zh) | 2018-11-14 | 2018-11-14 | 一种数据处理方法、装置、介质和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109460439A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110222122A (zh) * | 2019-07-26 | 2019-09-10 | 深圳市元征科技股份有限公司 | 一种MongoDB的数据同步方法及相关设备 |
CN110851533A (zh) * | 2019-11-13 | 2020-02-28 | 泰康保险集团股份有限公司 | 跨异构数据库的数据同步方法、装置、介质及电子设备 |
CN111309740A (zh) * | 2020-01-16 | 2020-06-19 | 中国建设银行股份有限公司 | 一种数据处理的方法、装置、设备及存储介质 |
CN111666304A (zh) * | 2020-06-04 | 2020-09-15 | 泰康保险集团股份有限公司 | 数据处理装置、数据处理方法、存储介质与电子设备 |
CN113742319A (zh) * | 2021-09-14 | 2021-12-03 | 中电福富信息科技有限公司 | 一种基于expect的不同数据库管理系统的数据迁移方法 |
CN113778563A (zh) * | 2021-09-27 | 2021-12-10 | 中国银行股份有限公司 | 银行外围系统文本文件加载方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101098495A (zh) * | 2007-06-14 | 2008-01-02 | 中兴通讯股份有限公司 | 一种提高智能业务在线统计任务性能的系统及方法 |
US20130138695A1 (en) * | 2011-11-30 | 2013-05-30 | Autodesk, Inc. | Database versioning system |
CN103455591A (zh) * | 2013-08-30 | 2013-12-18 | 国家电网公司 | 一种并行协同系统的标准数据交换接口方法 |
US20140019429A1 (en) * | 2012-07-12 | 2014-01-16 | Volker Driesen | Downtime reduction for lifecycle management events |
CN104881485A (zh) * | 2015-06-04 | 2015-09-02 | 中国银行股份有限公司 | 一种数据同步方法及系统 |
CN106355489A (zh) * | 2016-08-26 | 2017-01-25 | 山东尚捷信息科技有限公司 | 一种面向管理的数据中心系统及数据处理方法 |
CN106503104A (zh) * | 2016-10-17 | 2017-03-15 | 山东浪潮商用系统有限公司 | 一种内外网隔离模式下Oracle数据库数据复制方法 |
CN108280148A (zh) * | 2018-01-02 | 2018-07-13 | 中国民生银行股份有限公司 | 一种数据迁移方法和数据迁移服务器 |
-
2018
- 2018-11-14 CN CN201811353648.1A patent/CN109460439A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101098495A (zh) * | 2007-06-14 | 2008-01-02 | 中兴通讯股份有限公司 | 一种提高智能业务在线统计任务性能的系统及方法 |
US20130138695A1 (en) * | 2011-11-30 | 2013-05-30 | Autodesk, Inc. | Database versioning system |
US20140019429A1 (en) * | 2012-07-12 | 2014-01-16 | Volker Driesen | Downtime reduction for lifecycle management events |
CN103455591A (zh) * | 2013-08-30 | 2013-12-18 | 国家电网公司 | 一种并行协同系统的标准数据交换接口方法 |
CN104881485A (zh) * | 2015-06-04 | 2015-09-02 | 中国银行股份有限公司 | 一种数据同步方法及系统 |
CN106355489A (zh) * | 2016-08-26 | 2017-01-25 | 山东尚捷信息科技有限公司 | 一种面向管理的数据中心系统及数据处理方法 |
CN106503104A (zh) * | 2016-10-17 | 2017-03-15 | 山东浪潮商用系统有限公司 | 一种内外网隔离模式下Oracle数据库数据复制方法 |
CN108280148A (zh) * | 2018-01-02 | 2018-07-13 | 中国民生银行股份有限公司 | 一种数据迁移方法和数据迁移服务器 |
Non-Patent Citations (2)
Title |
---|
BIN JIANG 著,郑悦林 等 译: "《基于元数据驱动通用操作器的数据仓储构建》", 31 December 2014, 武汉大学出版社 * |
贾庆瑞: "面向移动终端的语音签到系统", 《电脑知识与技术》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110222122A (zh) * | 2019-07-26 | 2019-09-10 | 深圳市元征科技股份有限公司 | 一种MongoDB的数据同步方法及相关设备 |
CN110851533A (zh) * | 2019-11-13 | 2020-02-28 | 泰康保险集团股份有限公司 | 跨异构数据库的数据同步方法、装置、介质及电子设备 |
CN111309740A (zh) * | 2020-01-16 | 2020-06-19 | 中国建设银行股份有限公司 | 一种数据处理的方法、装置、设备及存储介质 |
CN111666304A (zh) * | 2020-06-04 | 2020-09-15 | 泰康保险集团股份有限公司 | 数据处理装置、数据处理方法、存储介质与电子设备 |
CN113742319A (zh) * | 2021-09-14 | 2021-12-03 | 中电福富信息科技有限公司 | 一种基于expect的不同数据库管理系统的数据迁移方法 |
CN113778563A (zh) * | 2021-09-27 | 2021-12-10 | 中国银行股份有限公司 | 银行外围系统文本文件加载方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109460439A (zh) | 一种数据处理方法、装置、介质和电子设备 | |
CN106980669B (zh) | 一种数据的存储、获取方法及装置 | |
CN107451147B (zh) | 一种kafka集群动态切换的方法和装置 | |
EP3516657A1 (en) | Methods and systems for endpoint device operating system in an asset intelligence platform | |
CN109144699A (zh) | 分布式任务调度方法、装置及系统 | |
CN104866391B (zh) | 一种基于增量信息系统的终端信息备份方法和装置 | |
CN107688899A (zh) | 业务流程监控方法及装置 | |
US20130226882A1 (en) | Automatic table cleanup for relational databases | |
US20160259315A1 (en) | Field device commissioning system and method | |
CN108255628A (zh) | 一种数据处理方法及装置 | |
CN110471754A (zh) | 作业调度中的数据展示方法、装置、设备及存储介质 | |
CN108829503A (zh) | 任务调度方法、装置、系统、介质和电子设备 | |
CN104182295B (zh) | 一种数据备份方法及装置 | |
CN107454138A (zh) | 业务降级的实现方法及装置 | |
CN109522272A (zh) | 录音文件的存储方法、装置、系统、介质和电子设备 | |
CN103414762A (zh) | 云备份方法和装置 | |
CN109857516A (zh) | 基于容器的集群迁移方法及装置 | |
CN106293890B (zh) | 一种基于复杂度的业务处理方法和装置 | |
CN106570029A (zh) | 分布式关系型数据库的数据处理方法及系统 | |
CN109495435A (zh) | 服务器的防火墙更新方法和装置 | |
US11294926B1 (en) | Master extract, transform, and load (ETL) application for accommodating multiple data source types having disparate data formats | |
CN110457182A (zh) | 一种负载均衡集群实例运行指标监控系统 | |
CN116993519A (zh) | 账单生成方法及装置 | |
CN112559118A (zh) | 应用数据迁移方法、装置、电子设备及存储介质 | |
CN110245177A (zh) | 一种百万级数据的导出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190312 |