CN111427938B - 数据转存的方法和装置 - Google Patents
数据转存的方法和装置 Download PDFInfo
- Publication number
- CN111427938B CN111427938B CN202010192168.2A CN202010192168A CN111427938B CN 111427938 B CN111427938 B CN 111427938B CN 202010192168 A CN202010192168 A CN 202010192168A CN 111427938 B CN111427938 B CN 111427938B
- Authority
- CN
- China
- Prior art keywords
- data
- database
- file
- field
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了数据转存的方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:获取第一数据库的第一数据和配置文件;将所述第一数据进行数据转换,生成第一数据文件;根据所述配置文件,将所述第一数据文件转存至第二数据库。该实施方式解决了现有技术在数据转存时存在的只能针对单一特定数据库表进行转化、无法适应不同数据库之间码制转换的技术缺陷,进而达到在提高转存效率的同时降低转存错误率的技术效果。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据转存的方法和装置。
背景技术
现有技术常常存在更换数据库管理系统的情况,但是由于每个数据管理系统所存储的数据格式可能存在不同,进而需要在进行自动转存时克服码制不同的问题。现有技术通过DB2卸载实用程序在卸载数据中,增加分割符号例如逗号,再利用SQL加载程序识别相应的数据文件和分割符,完成数据的导入。
在实现本申请过程中,申请人发现现有技术中至少存在如下问题:
1.现有技术只能针对单一特定数据库表进行转化,无法自动识别匹配所有数据库表,存在一定局限性,在系统存在大规模数据转换的时候需要极大的开发量;
2.开发人员需要学习多种数据库的相关技术,学习成本提高,出错率提高。
发明内容
有鉴于此,本申请实施例提供一种数据转存的方法和装置,能够达到提高转存效率的同时,降低转存错误率的技术效果。
为实现上述目的,根据本申请实施例的一个方面,提供了一种数据转存的方法,包括:
获取第一数据库的第一数据和配置文件;
将所述第一数据进行数据转换,生成第一数据文件;
根据所述配置文件,将所述第一数据文件转存至第二数据库。
可选地,所述第一数据包括:第一数据的子数据、所述第一数据的元数据和数据结构;
其中,获取第一数据库的第一数据,包括:
按照第一数据库的分区,确定所述第一数据的子数据;确定所述子数据对应的元数据和数据结构。
可选地,将所述第一数据进行数据转换,生成第一数据文件,包括:
根据所述元数据和所述数据结构,确定所述第一数据的转换形式;
根据所述转换形式将所述第一数据转换为第二数据;
根据所述第二数据,生成第一数据文件。
可选地,根据所述第二数据,生成第一数据文件,包括:
判断所述第二数据的大小是否需要拆分;
若是,则确定所述第二数据按照预设文件大小进行拆分的文件个数;根据所述文件个数,生成第一数据文件;
若否,则将所述第二数据文件确定为第一数据文件。
可选地,所述第一数据库为DB2数据库;所述第二数据库为Oracle数据库。
根据本申请实施例的一个方面,提供了一种数据转存的装置,包括:
获取模块,用于获取第一数据库的第一数据和配置文件;
生成模块,用于将所述第一数据进行数据转换,生成第一数据文件;
转存模块,用于根据所述配置文件,将所述第一数据文件转存至第二数据库。
可选地,所述第一数据,包括:第一数据的子数据、所述第一数据的元数据和数据结构
其中,获取第一数据库的第一数据,包括:
按照第一数据库的分区,确定所述第一数据的子数据;确定所述子数据对应的元数据和数据结构。
可选地,将所述第一数据进行数据转换,生成第一数据文件,包括:
根据所述元数据和所述数据结构,确定所述第一数据的转换形式;
根据所述转换形式将所述第一数据转换为第二数据;
根据所述第二数据,生成第一数据文件。
可选地,根据所述第二数据,生成第一数据文件,包括:
判断所述第二数据的大小是否需要拆分;
若是,则确定所述第二数据按照预设文件大小进行拆分的文件个数;根据所述文件个数,生成第一数据文件;
若否,则将所述第二数据文件确定为第一数据文件。
可选地,所述第一数据库为DB2数据库;所述第二数据库为Oracle数据库。
根据本申请实施例的另一个方面,提供了一种数据转存的电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本申请提供的数据转存的方法。
根据本申请实施例的还一个方面,提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本申请提供的数据转存的方法。
上述申请中的一个实施例具有如下优点或有益效果:
本申请通过将第一数据进行数据转换后存储在第二数据库的技术手段,解决了现有技术在数据转存时存在的只能针对单一特定数据库表进行转化、无法适应不同数据库之间码制转换的技术缺陷,进而达到提高转存效率的同时,降低转存错误率的技术效果。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本申请,不构成对本申请的不当限定。其中:
图1是根据本申请实施例的一种数据转存的方法的主要流程的示意图;
图2是根据本申请实施例的一种数据转存的方法的具体流程的示意图
图3是根据本申请实施例的数据转存的装置的主要模块的示意图;
图4是本申请实施例可以应用于其中的示例性系统架构图;
图5是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
现有技术中的源数据库较多为DB2数据库,通过DB2数据库中的UNLOAD UTILITY(卸载数据)程序,将数据从DB的数据库表中导出,并将数据写入到数据文件中。DB2数据库可以使用上述导出的数据重新加载原始表或其他表。尽管UNLOAD UTILITY程序的功能通常称为卸载数据,但数据不会从源对象中删除。该实用程序只是复制数据。
上述卸载的源可以是DB2表空间或DB2映像复制数据集。源不能是并发副本或FlashCopy映像副本。可以从整个表空间卸载行,也可以选择要卸载的特定分区或表。也可以使用字段规范列表选择列。如果表空间已分区,则可以将所有选定分区卸载到单个数据集中。或者,可以将每个分区并行卸载到物理上不同的数据集中。卸载必须在表空间和表的定义存在的系统上运行。
Oracle对应的SQL*Loader(SQLLDR)程序是一种Oracle的高速批量数据加载工具。常用于多种平面文件格式向Oracle数据库中加载数据。它可以在短时间内加载数量庞大的数据。Oracle数据库主要有两种操作模式,即传统路径模式(conventional path)和直接路径(direct path)。传统模式下SQLLDR利用SQL语句加载数据。而直接路径模式,SQLLDR会直接格式化数据库块,利用直接路径加载。数据绕过整个SQL引擎和undo(撤销)数据生成,是一个最快的方法。使用SQLLDR,还需要有一个控制文件(control file)。控制文件中包含描述输入数据的信息(如输入数据的布局、数据类型等),另外还包含有关目标表的信息。控制文件甚至还可以包含待加载的数据。
现有技术主要是根据DB2表中的数据库表结构,建立ORACLE中能够装载该数据的数据库表。通过DB2 UNLOAD UTILITY程序,在卸载数据中,增加分割符号例如逗号。再通过修改SQL*LOADER程序使用CTRL文件,使得SQL*LOADER程序识别相应的数据文件和分割符,完成数据的导入。
但是,现有技术具有的技术缺陷包括以下至少之一:
只能针对单一特定数据库表进行转化,无法自动识别匹配所有数据库表,存在一定局限性,在系统存在大规模数据转换的时候需要极大的开发量;
对于操作系统不同的情况,例如DB2安装在主机ZOS操作系统上时,数据存储码制之间存在差异时,尤其是有混合码制存储时,DB2的UNLOAD UTILITY只能提供表级的码制处理,无法适应列级的数据码制转换需求;
由于Oracle sql*loader限制,不同种类的数据、不同的数据量会涉及导入参数的修改,导入文件的拆分等情况,使用单一该方法经常会出现转换报错的情况发生;
开发人员需要学习Oracle,DB2数据库相关涉及技术,学习成本增加,导致最终产出的数据转换代码中出现错误的可能性增加。
图1是根据本申请实施例的一种数据转存的方法的主要流程的示意图,如图1所示,包括:
步骤S101、获取第一数据库的第一数据和配置文件;
步骤S102、将所述第一数据进行数据转换,生成第一数据文件;
步骤S103、根据所述配置文件,将所述第一数据文件转存至第二数据库。
所述第一数据库也就是源数据库,第一数据库中的第一数据和配置文件需要经过转换,生成符合第二数据库(目标数据库)的数据,进而方便存储在所述第二数据库中。
其中,第一数据可以根据用户的需求在第一数据库中筛选得到。
在导出数据量较大时,可以通过分区并发的导出模式,按数据库的分区导出数据,进而达到最终转存在第二数据库的数据更方便存储,进而省略了对存储在第二数据库中的数据进行分区处理的步骤的效果。
本申请通过采用将第一数据进行数据转换后存储在第二数据库的技术手段,解决了现有技术在数据转存时存在的只能针对单一特定数据库表进行转化、无法适应不同数据库之间码制转换的技术缺陷,进而达到在提高转存效率的同时降低转存错误率的技术效果。
具体地,所述第一数据包括:第一数据的子数据、所述第一数据的元数据和数据结构;
所述元数据(Metadata),又称中介数据、中继数据,为描所述第一数据的数据(data about data),主要是描述数据属性(property)的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。在本申请中所述元数据是描述所述子数据的数据;所述数据结构是计算机存储、组织数据的方式。所述元数据和所述数据结构决定了子数据的转换形式。
获取第一数据库的第一数据,包括:
按照第一数据库的分区,确定所述第一数据的子数据;
确定所述子数据对应的元数据和数据结构。
可选地,将所述第一数据进行数据转换,生成第一数据文件,包括:
根据所述元数据和所述数据结构,确定所述第一数据的转换形式;其中,所述元数据和所述数据结构也就是本领域技术人员所述的下档数据。
根据所述转换形式对所述第一数据,调用编码转换器进行码制数据转换,生成第二数据;
根据所述第二数据,生成第一数据文件。
具体地,当所述第一数据库为DB2数据库时,通常采用FOR BIT DATA数据类型的数据字段。该数据类型下,第二数据库不识别第一数据库的码制。传入的数据,均按照二进制方式进行存储。
例如,银行业常用的DB2 FOR ZOS系统,大部分数据字段均以EBCDIC码制存放。对于存在的中文字符,则通常直接在FOR BIT DATA的字符串字段中存储UTF8码制的数据。DB2数据库中可能出现,多种码制混合存放的情况。
针对上述情况,可以通过上述生成第一数据文件的步骤避免。
其中,本申请所提及的DB2数据库和ORACLE数据库是当前IT系统的两种主要的数据库管理系统,当企业多系统融合,数据可能需要在多个不同功能形态的数据库管理系统中存放;当IT系统升级,更改系统使用的数据库管理系统时,经常涉及将DB2数据库中的数据导出,并转换成适当的数据格式,再导入到Oracle数据库中去。
通过本申请具体实施方案可以实现:DB2数据库和Oracle数据库间的数据类型的自动化映射问题;以及DB2数据库和Oracle数据库对应的不同操作系统间数据的码制转化的问题。
可选地,根据所述第二数据,生成第一数据文件,包括:
判断所述第二数据的大小是否需要拆分;
若是,则确定所述第二数据按照预设文件大小进行拆分的文件个数;根据所述文件个数,生成第一数据文件;
若否,则将所述第二数据文件确定为第一数据文件。
下面以一具体实施例详细说明本申请的确定第一数据文件的过程。在本实施例中以ZOS操作系统为例。具体地,包括:
首先,获取第二数据的大小,进而根据预设文件大小确定最终文件拆分的个数;
然后,调用ISPF面板功能:ADDRESS ISPEXEC;
再后,发送命令DSNINFO:
“DSNINFO DATASET(‘ISCNDCFT.UNLOAD’);”
具体地:获取此命令其中一个返回值:ZDSTOTA(文件大小,单位为CYLINDER);判断ZDSTOTA中是否含有逗号,如果有就去掉(英语数字每到千位会有逗号分隔);判断去逗号后的ZDSTOTA的值与2500之间的关系(也就是第二数据的达到是否大于2GB);若去逗号后的ZDSTOTA的值小于等于2500,程序结束;若去逗号后的ZDSTOTA的值大于2500,则将ZDSTOTA÷2500,获得拆分的数据文件个数,将值返给后续作业处理。
其中,生成第一文件的步骤还包括:将所述第二数据转化为第二数据库方便存储的形式。具体地,当所述第一数据库为DB2第二数据库为Oracle时,需要通过数据类型的转化使得第二数据库中数据定义更加准确。DB2的数据类型包括:SMALLINT、INTEGER、BIGINT,实际对应长度不同的三种数值长度,再Oracle中映射的上述三种数据类型对应的NUMBER型数据。
具体地,可以根据实际需要完成数据类型的映射如下表所示:
在本申请涉及的技术方案中,还可以有部分应用数据结构的数值采用字符类型存储,通过解析应用数据结构,可以使得数据转换获得更加精确的数据长度和导入配置文件。下面以COBOL语言的数据结构为例进行说明,具体地,应用数据结构的主要类型如下:
字段为PIC X(5)或者PIC 9(5)型,字段长度为5。
字段为PIC 9(5)COMP型,字段长度为5。
字段为PIC S9(5)COMP-3型,字段长度为5+1=6。
字段为PIC S9(5)V(3)COMP-3型,字段长度为5+3+1+1=10。
与上述应用数据结构对应的配置文件内容,包括如下情况:
1、待转存的数据字段为第一列时,直接设置开始与结束位,具体地,COL-NAME-1PIC 9(5)→COL-NAME-1position(1:5);
2、待转存的数据字段为非第一列时,由于每个字段之间有分隔符,后续字段的起始位为前一个字段结束位+2,具体地,COL-NAME-2PIC 9(3)→COL-NAME-1position(7:9)。
3、待转存的数据字段在文件中为空时,如果是字符型,就初始化为空(NVL(:COL-NAME-1,’‘)),若为数值型,就初始化为0(NVL(:COL-NAME-1,0))。
可选地,所述第一数据库为DB2数据库;所述第二数据库为Oracle数据库。
下面以第一数据库为DB2数据库;所述第二数据库为Oracle数据库为例详细说明本申请数据转存的步骤。图2是根据本申请实施例的一种数据转存的方法的具体流程的示意图,如图2所示,包括:
步骤S201、读取DB2数据库中的数据、元数据和数据结构;
步骤S202、根据DB2数据库的分区将所述数据并发生成下档数据;
步骤S203、根据DB2数据库的元数据和数据结构,确定需要码制转换的数据;
步骤S204、根据所述元数据和数据结构生成用于导入第二数据库的配置文件;
步骤S205、根据上述需要码制转换的数据进行列级码制转换,生成第二数据;
步骤S206、判断所述第二数据的大小是否符合第二数据库存储每个数据文件的大小;若是,则执行步骤S207;若否,则执行步骤S208;
步骤S207、判断将所述第二数据进行拆分的文件个数;然后执行步骤S208;
步骤S208、生成第一数据文件;
步骤S209、根据所述第一数据文件和步骤S204中的配置文件进行文件传输,后转存至第二数据库中。
上述实施例可以自动调度运行数据装载,并识别解决数据导入Oracle数据库时存在数据格式不统一的技术问题。在本实施例中为平衡数据导入速度和对第二数据库的影响,可以通过配置数据装载模式辅助数据转存,进而在完成数据转存后,根据元数据信息自动重现第二数据库中索引。
上述实施例能够基于应用数据结构和DB2元数据内容自动完成数据转换;并且上述逻辑可控性高,能够依据实际情况进行目标代码的调整和优化,达到自动转存的技术效果,进而避免了现有技术中由于开发人员粗心或对知识规范不够了解导致的程序问题,减少了开发人员消耗在检查问题原因和修复问题上的时间。
图3是根据本申请实施例的数据转存的装置的主要模块的示意图;如图3所示,根据本申请实施例的一个方面,提供了一种数据转存的装置300,包括:
获取模块301,用于获取第一数据库的第一数据和配置文件;
生成模块302,用于将所述第一数据进行数据转换,生成第一数据文件;
转存模块303,用于根据所述配置文件和所述第一数据文件转存至第二数据库。
图4出了可以应用本申请实施例的数据转存方法或数据转存装置的示例性系统架构400。
如图4所示,系统架构400可以包括终端设备401、402、403,网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备401、402、403通过网络404与服务器405交互,以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器405可以是提供各种服务的服务器,例如对用户利用终端设备401、402、403所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理,并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是,本申请实施例所提供的数据转存方法一般由服务器405执行,相应地,数据转存装置一般设置于服务器405中。
应该理解,图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图5,其示出了适于用来实现本申请实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示,计算机系统500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本申请公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:
获取第一数据库的第一数据和配置文件;
将所述第一数据进行数据转换,生成第一数据文件;
根据所述配置文件和所述第一数据文件转存至第二数据库。
根据本申请实施例的技术方案,可以达到如下有益效果:
本申请通过将第一数据进行数据转换后存储在第二数据库的技术手段,解决了现有技术在数据转存时存在的只能针对单一特定数据库表进行转化、无法适应不同数据库之间码制转换的技术缺陷,进而达到提高转存效率的同时,降低转存错误率的技术效果。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (8)
1.一种数据转存的方法,其特征在于,包括:
获取第一数据库的第一数据和配置文件;其中,获取第一数据库的第一数据,包括:按照第一数据库的分区,确定所述第一数据的子数据;确定所述子数据对应的元数据和数据结构,所述元数据是描述所述子数据的数据,所述数据结构是计算机存储、组织数据的方式;所述配置文件包括数据装载模式;
根据所述元数据和所述数据结构,确定所述第一数据的转换形式;根据所述转换形式将所述第一数据转换为第二数据;根据所述第二数据,生成第一数据文件;其中,转换形式包括数据类型的转换,第一数据库的SMALLINT、INTEGER、BIGINT和DECIMAL数据类型,对应第二数据库的NUMBER型数据;
根据所述配置文件,将所述第一数据文件转存至第二数据库;
其中,与数据结构对应的配置文件的内容,包括如下情况:
待转存的数据字段为第一列时,直接设置开始与结束位;
待转存的数据字段为非第一列时,由于每个字段之间有分隔符,后续字段的起始位为前一个字段结束位+2;
待转存的数据字段在文件中为空时,如果是字符型,则初始化为空,若为数值型,则初始化为0。
2.根据权利要求1所述的方法,其特征在于,根据所述第二数据,生成第一数据文件,包括:
判断所述第二数据的大小是否需要拆分;
若是,则确定所述第二数据按照预设文件大小进行拆分的文件个数;根据所述文件个数,生成第一数据文件;
若否,则将所述第二数据文件确定为第一数据文件。
3.根据权利要求1或2所述的方法,其特征在于,所述第一数据库为DB2数据库;所述第二数据库为Oracle数据库。
4.一种数据转存的装置,其特征在于,包括:
获取模块,用于获取第一数据库的第一数据和配置文件;其中,获取第一数据库的第一数据,包括:按照第一数据库的分区,确定所述第一数据的子数据;确定所述子数据对应的元数据和数据结构,所述元数据是描述所述子数据的数据,所述数据结构是计算机存储、组织数据的方式;所述配置文件包括数据装载模式;
生成模块,用于根据所述元数据和所述数据结构,确定所述第一数据的转换形式;根据所述转换形式将所述第一数据转换为第二数据;根据所述第二数据,生成第一数据文件;其中,转换形式包括数据类型的转换,第一数据库的SMALLINT、INTEGER、BIGINT和DECIMAL数据类型,对应第二数据库的NUMBER型数据;
转存模块,用于根据所述配置文件,将所述第一数据文件转存至第二数据库;
其中,与数据结构对应的配置文件的内容,包括如下情况:
待转存的数据字段为第一列时,直接设置开始与结束位;
待转存的数据字段为非第一列时,由于每个字段之间有分隔符,后续字段的起始位为前一个字段结束位+2;
待转存的数据字段在文件中为空时,如果是字符型,则初始化为空,若为数值型,则初始化为0。
5.根据权利要求4所述的装置,其特征在于,根据所述第二数据,生成第一数据文件,包括:
判断所述第二数据的大小是否需要拆分;
若是,则确定所述第二数据按照预设文件大小进行拆分的文件个数;根据所述文件个数,生成第一数据文件;
若否,则将所述第二数据文件确定为第一数据文件。
6.根据权利要求4或5所述的装置,其特征在于,所述第一数据库为DB2数据库;所述第二数据库为Oracle数据库。
7.一种数据转存的电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-3中任一所述的方法。
8.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-3中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010192168.2A CN111427938B (zh) | 2020-03-18 | 2020-03-18 | 数据转存的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010192168.2A CN111427938B (zh) | 2020-03-18 | 2020-03-18 | 数据转存的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111427938A CN111427938A (zh) | 2020-07-17 |
CN111427938B true CN111427938B (zh) | 2023-08-29 |
Family
ID=71549577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010192168.2A Active CN111427938B (zh) | 2020-03-18 | 2020-03-18 | 数据转存的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111427938B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103873517A (zh) * | 2012-12-14 | 2014-06-18 | 中兴通讯股份有限公司 | 一种数据同步的方法、装置和系统 |
CN105512240A (zh) * | 2015-11-30 | 2016-04-20 | 中国建设银行股份有限公司 | 一种基于不同数据库的数据复制方法和系统 |
CN105824914A (zh) * | 2016-03-15 | 2016-08-03 | 浙江大学 | 一种基于配置的雪花模型信息抽取方法 |
CN105956123A (zh) * | 2016-05-03 | 2016-09-21 | 无锡雅座在线科技发展有限公司 | 基于局部更新软件的数据处理方法及装置 |
CN107391306A (zh) * | 2017-07-27 | 2017-11-24 | 国家电网公司 | 一种异构数据库备份文件恢复方法 |
CN110209741A (zh) * | 2019-06-14 | 2019-09-06 | 上海中通吉网络技术有限公司 | 异构数据源间的数据同步方法、装置和设备 |
CN110334141A (zh) * | 2019-05-30 | 2019-10-15 | 平安科技(深圳)有限公司 | 数据转换的方法、装置、计算机设备和存储介质 |
-
2020
- 2020-03-18 CN CN202010192168.2A patent/CN111427938B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103873517A (zh) * | 2012-12-14 | 2014-06-18 | 中兴通讯股份有限公司 | 一种数据同步的方法、装置和系统 |
CN105512240A (zh) * | 2015-11-30 | 2016-04-20 | 中国建设银行股份有限公司 | 一种基于不同数据库的数据复制方法和系统 |
CN105824914A (zh) * | 2016-03-15 | 2016-08-03 | 浙江大学 | 一种基于配置的雪花模型信息抽取方法 |
CN105956123A (zh) * | 2016-05-03 | 2016-09-21 | 无锡雅座在线科技发展有限公司 | 基于局部更新软件的数据处理方法及装置 |
CN107391306A (zh) * | 2017-07-27 | 2017-11-24 | 国家电网公司 | 一种异构数据库备份文件恢复方法 |
CN110334141A (zh) * | 2019-05-30 | 2019-10-15 | 平安科技(深圳)有限公司 | 数据转换的方法、装置、计算机设备和存储介质 |
CN110209741A (zh) * | 2019-06-14 | 2019-09-06 | 上海中通吉网络技术有限公司 | 异构数据源间的数据同步方法、装置和设备 |
Non-Patent Citations (1)
Title |
---|
陶程仁.《数据库技术及应用》.中国商务出版社,2009,385-387. * |
Also Published As
Publication number | Publication date |
---|---|
CN111427938A (zh) | 2020-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11163739B2 (en) | Database table format conversion based on user data access patterns in a networked computing environment | |
CN107256206B (zh) | 字符流格式转换的方法和装置 | |
CN111324610A (zh) | 一种数据同步的方法及装置 | |
US20180247235A1 (en) | Transformation of logical data object instances and updates to same between hierarchical node schemas | |
US11200231B2 (en) | Remote query optimization in multi data sources | |
CN111125064B (zh) | 一种生成数据库模式定义语句的方法和装置 | |
US7840603B2 (en) | Method and apparatus for database change management | |
CN113760948A (zh) | 一种数据查询的方法及装置 | |
US20160012042A1 (en) | Converting Data Objects from Multi- to Single-Source Database Environment | |
CN108694172B (zh) | 信息输出方法和装置 | |
CN111427938B (zh) | 数据转存的方法和装置 | |
US20140207729A1 (en) | Rapid Provisioning of Information for Business Analytics | |
CN110543520B (zh) | 一种数据迁移的方法和装置 | |
CN115617773A (zh) | 数据迁移的方法、装置和系统 | |
CN112817930A (zh) | 一种数据迁移的方法和装置 | |
CN113742321A (zh) | 一种数据更新的方法和装置 | |
CN113760240A (zh) | 一种生成数据模型的方法和装置 | |
CN113127496A (zh) | 数据库中变更数据的确定方法及装置、介质和设备 | |
CN115563183B (zh) | 查询方法、装置及程序产品 | |
CN113515504B (zh) | 数据管理方法、装置、电子设备以及存储介质 | |
CN110727672A (zh) | 数据映射关系查询方法、装置、电子设备及可读介质 | |
US11182238B2 (en) | Problematic characters | |
CN113760943A (zh) | 一种业务报表处理方法和装置 | |
CN118069723A (zh) | 数据库中转换文件格式的方法、装置、设备和介质 | |
US10102122B2 (en) | Personal computing device for editing mainframe data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220921 Address after: 25 Financial Street, Xicheng District, Beijing 100033 Applicant after: CHINA CONSTRUCTION BANK Corp. Address before: 25 Financial Street, Xicheng District, Beijing 100033 Applicant before: CHINA CONSTRUCTION BANK Corp. Applicant before: Jianxin Financial Science and Technology Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |