CN115827634A - 一种数据转换方法、装置及存储介质 - Google Patents
一种数据转换方法、装置及存储介质 Download PDFInfo
- Publication number
- CN115827634A CN115827634A CN202211603104.2A CN202211603104A CN115827634A CN 115827634 A CN115827634 A CN 115827634A CN 202211603104 A CN202211603104 A CN 202211603104A CN 115827634 A CN115827634 A CN 115827634A
- Authority
- CN
- China
- Prior art keywords
- data
- enterprise
- database table
- target data
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了一种数据转换方法、装置及存储介质,其中数据转换方法包括步骤:获取第一企业待转换的目标数据所涉及的第一数据库表,从所述第一数据库表中获取所述目标数据;识别获取的所述目标数据中的第一ID数据,将所述第一ID数据转换成第二企业可用的第二ID数据;将执行所述第一ID数据转换成所述第二ID数据的操作后的所述目标数据写入所述第二企业的第二数据库表中,以完成数据入库。通过上述方法,可以将第一企业的数据无缝复制给第二企业来使用,无需停服,就可以进行数据的传输,实现实时进行数据的复制和转换。
Description
技术领域
本申请涉及计算机信息处理技术领域,具体涉及一种数据转换方法、装置及存储介质。
背景技术
当前saas系统中的数据都是基于一家企业的,相关业务数据在创建时,就已经隶属于一家企业了。例如易快报中基础数据有用户信息,角色信息,权限信息等,配置数据有费用标准,费用类型,扩展档案,业务对象,收付款账户,单据模板,预算包,审批流等。
但是随着业务的发展,有一些大型会计公司的需求场景,会涉及对多个公司的统一管理和配置。这些公司之间可以没有业务联系,但是却有统一的报销规则和制度管理,这里就产生了一个业务场景。例如:管理员对公司A按照要求,向系统中导入了基础档案,配置了单据模板,费用类型,审批流等数据。在完成公司A的配置之后,管理员又开始公司B导入基础档案,配置一些数据,再之后操作公司C,D,E......
在上述场景中有很多问题。首先管理员对每一家公司进行业务数据配置时都有着一定的复杂度和出错率。再者公司越多,那么这项工作的复杂程度也会越来越大。并且在规则做变动时,对于每一个公司就又要付出一定的时间和人员成本来做更新。最后,各公司的配置独立,无法做到统一的报销管理,会出现数据滞后,审批流程滞后等问题。目前市面上数据转换仅仅是通过预定义的配置,针对数据结构,数据字段名称进行映射变更,需要停服进行数据的传输,无法实时进行数据复制和转换。
发明内容
本申请实施例的目的在于提供一种数据转换方法、装置及存储介质,用以解决现有技术中的数据转换方法需要停服进行数据的传输,无法实时进行数据的复制和转换的问题。
为实现上述目的,本申请实施例提供一种数据转换方法,包括步骤:获取第一企业待转换的目标数据所涉及的第一数据库表,从所述第一数据库表中获取所述目标数据;
识别获取的所述目标数据中的第一ID数据,将所述第一ID数据转换成第二企业可用的第二ID数据;
将执行所述第一ID数据转换成所述第二ID数据的操作后的所述目标数据写入所述第二企业的第二数据库表中,以完成数据入库。
可选地,识别获取的所述目标数据中的所述第一ID数据的方法包括:
动态创建数据字典,通过所述数据字典进行所述第一ID数据的识别。
可选地,动态创建所述数据字典的方法包括:
监听所述数据库中与所述第一企业相关的新增ID数据;
实时获取所述新增ID数据,利用所述新增ID数据动态创建和更新树结构的所述数据字典,所述数据字典用于提供关键字前缀查询以及全文命中查询。
可选地,通过所述数据字典进行所述第一ID数据的识别的方法包括:
基于系统内所述ID数据的最小长度,设置所述第一ID数据的最少检索长度,在进行检索识别时,只截取大于等于所述最少检索长度的字符串进行匹配。
可选地,将所述第一ID数据转换成所述第二企业可用的所述第二ID数据的方法包括:
通过字符串的replace函数进行格式转换。
可选地,从所述第一数据库表中获取所述目标数据的方法包括:
通过结构化查询语言,使用所述第一ID数据作为查询条件查询到对应的所述目标数据;和/或,通过结构化查询语言,使用所述目标数据被配置时的更新时间字段作为查询条件查询到对应的所述目标数据。
为实现上述目的,本申请还提供一种数据转换装置,包括:存储器;以及
与所述存储器连接的处理器,所述处理器被配置成:
获取第一企业待转换的目标数据所涉及的第一数据库表,从所述第一数据库表中获取所述目标数据;
识别获取的所述目标数据中的第一ID数据,将所述第一ID数据转换成第二企业可用的第二ID数据;
将执行所述第一ID数据转换成所述第二ID数据的操作后的所述目标数据写入所述第二企业的第二数据库表中,以完成数据入库。
为实现上述目的,本申请还提供一种计算机存储介质,其上存储有计算机程序,其中所述计算机程序被机器执行时实现如上所述的方法的步骤。
本申请实施例具有如下优点:
本申请实施例提供一种数据转换方法,包括步骤:获取第一企业待转换的目标数据所涉及的第一数据库表,从所述第一数据库表中获取所述目标数据;识别获取的所述目标数据中的第一ID数据,将所述第一ID数据转换成第二企业可用的第二ID数据;将执行所述第一ID数据转换成所述第二ID数据的操作后的所述目标数据写入所述第二企业的第二数据库表中,以完成数据入库。
通过上述方法,可以将第一企业的数据无缝复制给第二企业来使用,无需停服,就可以进行数据的传输,实现实时进行数据的复制和转换。
进一步,动态创建数据字典,通过所述数据字典进行所述第一ID数据的识别。进一步,动态创建所述数据字典的方法包括:通过binlog监听所述数据库中与所述第一企业相关的新增ID数据;实时获取所述新增ID数据,利用所述新增ID数据动态创建和更新树结构的所述数据字典,所述数据字典用于提供关键字前缀查询以及全文命中查询。
通过上述方法,可以动态创建数据字典,实时监听数据库中产生的新增ID并同步给数据字典,通过数据字典进行ID识别,并且不停服,用户无感知的进行数据复制和转换,从而可以实时的将第一企业的配置变动,同步给第二企业。
附图说明
为了更清楚地说明本申请的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引伸获得其它的实施附图。
图1为本申请实施例提供的一种数据转换方法的流程图;
图2为本申请实施例提供的一种数据转换方法的第一数据库表示意图;
图3为本申请实施例提供的一种数据转换方法的第一ID数据转换流程示意图;
图4为本申请实施例提供的一种数据转换方法的动态创建数据字典流程示意图;
图5为本申请实施例提供的一种数据转换方法的数据字典结构示意图;
图6为本申请实施例提供的一种数据转换装置的模块框图。
具体实施方式
以下由特定的具体实施例说明本申请的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
此外,下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本申请一实施例提供一种数据转换方法,参考图1,图1为本申请的一实施方式中提供的一种数据转换方法的流程图,应当理解的是,该方法还可以包括未示出的附加框和/或可以省略所示出的框,本申请的范围在此方面不受限制。
在步骤101处,获取第一企业待转换的目标数据所涉及的第一数据库表,从所述第一数据库表中获取所述目标数据。
在一些实施例中,从所述第一数据库表中获取所述目标数据的方法包括:
通过结构化查询语言,使用所述第一ID数据作为查询条件查询到对应的所述目标数据;和/或,通过结构化查询语言,使用所述目标数据被配置时的更新时间字段作为查询条件查询到对应的所述目标数据。
在一些实施例中,所述目标数据包括所述第一企业的用户角色配置数据,所述用户角色配置数据包括用户数据、角色数据和用户角色关系数据;
所述目标数据所涉及的所述第一数据库表分别包括用户表、角色表和用户角色关系表;
所述目标数据中的所述第一ID数据包括主键ID数据、企业ID数据、用户ID数据和角色ID数据;
基于所述用户ID数据,通过结构化查询语言获取所述用户数据和用户角色数据;
基于角色被配置的所述更新时间字段,通过结构化查询语言获取所述角色数据。
具体地,业务系统在数据设计阶段,不可避免的都会产生关系型数据。关系型数据场景很多,本实施例通过一个标准的用户角色配置数据(目标数据,包括用户数据、角色数据和用户角色关系数据)来举例,阐述具体的实现方案。
参考图2,第一数据库表有用户表,角色表,和用户角色关系表,每张表都有主键ID数据和企业ID数据,角色关系表中有引用的用户ID数据和角色ID数据。
复制数据之前需要明确角色配置涉及的表。在这个角色配置场景中,可以确认如下信息查询sql:
Select*from用户表where用户ID=‘xxxxx’
Select*from用户角色关系表where用户ID=‘xxxxx’
根据上边的sql语句(结构化查询语言),只要指定用户的ID数据,就可以获取到用户数据,以及用户角色关系数据。但是这里还有一个角色表的信息需要处理,而角色表中并没有关联ID可供查询。这里,可以将角色数据按照如下sql来定义:
Select*from角色表where updateTime>=?
在做数据表设计时应该对每张表都配置更新时间字段,默认值为当前时间。如果是已有系统,可以新增该字段。
通过上边的数据库查询语句,使用角色被配置的更新时间updateTime字段作为查询条件来获取角色数据,条件赋值在首次做数据复制时使用计算机的起始时间1970-01-0100:00:00,之后可以用上一次操作数据复制成功的时间赋值。
这样设计,可以保证每次再做数据复制时,不会丢失数据,并且在数据更新时,能够只对更新的数据做复制,不产生冗余的数据操作。
本申请将指定复制的用户数据和角色数据定义为两部分,主数据和基础数据。
主数据的定义可以通过适用范围来理解:例如用户数据,这部分数据仅仅影响指定的用户自身。
基础数据的定义可以这样理解:例如角色不仅仅可以被一个用户来使用,它可以作用在任何用户身上,并且可以在其它业务模块来使用。
综上,通过以上操作,目前可以将需要复制的目标数据从数据库中获取到了。
在步骤102处,识别获取的所述目标数据中的第一ID数据,将所述第一ID数据转换成第二企业可用的第二ID数据。
在一些实施例中,识别获取的所述目标数据中的所述第一ID数据的方法包括:
动态创建数据字典,通过所述数据字典进行所述第一ID数据的识别。
在一些实施例中,动态创建所述数据字典的方法包括:
监听所述数据库中与所述第一企业相关的新增ID数据;
实时获取所述新增ID数据,利用所述新增ID数据动态创建和更新树结构的所述数据字典,所述数据字典用于提供关键字前缀查询以及全文命中查询。
在一些实施例中,通过所述数据字典进行所述第一ID数据的识别的方法包括:
基于系统内所述ID数据的最小长度,设置所述第一ID数据的最少检索长度,在进行检索识别时,只截取大于等于所述最少检索长度的字符串进行匹配。
在一些实施例中,将所述第一ID数据转换成所述第二企业可用的所述第二ID数据的方法包括:
通过字符串的replace函数进行格式转换。
具体地,将数据中的关联字段进行转换。参考前述实施例,在角色数据场景中,这里直接展示转换后的结果,之后针对结果,来阐述转换步骤中需要解决的问题。
参考图3,需要做的转换结果有两个部分,一个是选定转换的标识,这里通过“企业ID:”作为前缀,将ID数据进行拼接。另外是将corpId即第一企业ID字段值替换为第二企业ID(即企业A替换为企业B)。
以上实现转换前需要解决一个核心问题:如何快速确认目标数据中的哪些字符串是ID数据然后进行转换?
参考图4,首先需要通过binlog监听数据库新增的ID数据。mysql中binlog功能这里不做阐述,该功能是mysql官方提供的一项数据变动事件的消息出口,各种开发语言都有连接binlog的方式。
通过监听binlog,可以实时获取到数据库的数据变动信息。在业务代码的实现上,可以获取目标第一企业的新增ID数据,需要做的就是依托于目标第一企业,进行数据过滤。例如我们只需要企业A(第一企业)的数据,那么就只过滤企业A的相关ID数据,从而减少不必要的内存和程序效率的消耗,保证后续创建数据字典的正确性。
获取到ID数据后,需要利用ID数据创建trie结构的数据字典,该数据字典需要提供关键字前缀查询以及全文命中查询。如图5所示。假设ID数据为:ABC,ABCD,ACE,ACDE四项,需要用程序构建如下树结构。除了可以通过树杈判断查询的关键字前缀是否存在,还可以通过关键字结尾的标记符号,判断是否全文命中。通过这种数据格式,可以保证插入和查询的时间复杂度都是O(l),保证高效的数据查询和字典新增关键字的效率。
在数据检索对trie数据字典进行命中匹配时,本实施例做了一个关键字提取优化,可以很大程度的降低时间复杂度。由于本实施例的目标是对ID进行转换,所以可以基于系统内所述ID数据的最小长度,设置ID数据的最少检索长度。如果系统内ID生成都是8位以上的,那就可以只截取8位以上的字符串进行匹配,8位以下的不做处理。
例如需要在26个英文子母(从a到z按序排列的26个英文字母)的字符串中识别ID数据,字典中我们预制两个ID数据:bcdefghi和lmnopgrs,以下步骤可以将两个ID数据获取到。
1.第一次从下标0开始取值不匹配;
2.第二次从1取值匹配到bcdefghi;
3.第三次从上一次的匹配成功下标+1,即下标9开始,取值不匹配;
4.第四次从下标10取值不匹配;
5.第五次从下标11取值匹配到lmnopgrs;
6.第六次从上一次的匹配成功下标+1开始匹配,低于8位,不做匹配,执行结束。
综上,通过上述操作,可以完成前述步骤中的第一ID数据的数据识别。
通过上述方法,可以动态创建数据字典,实时监听数据库中产生的新增ID并同步给数据字典,通过数据字典进行ID识别,并且不停服,用户无感知的进行数据复制和转换,从而可以实时的将第一企业的配置变动,同步给第二企业。
在做数据转换时,例如java语言中,通过字符串的replace函数进行格式转换即可,由于数据库每条记录相对不大,一般用官方提供的字符串替换方法的效率完全满足场景需要了。
在步骤103处,将执行所述第一ID数据转换成所述第二ID数据的操作后的所述目标数据写入所述第二企业的第二数据库表中,以完成数据入库。
在一些实施例中,将执行所述第一ID数据转换成所述第二ID数据的操作后的所述目标数据写入所述第二企业的所述第二数据库表中的方法包括:
通过insert语句进行批量保存或者通过mysql提供的大数据入库方式,load data来完成。
具体地,Mysql数据写入一般都是通过insert语句进行批量保存,例如:INSERTINTO table(field1,field2,...)VALUES(值1,值2,...),这也是一些实施例的业务系统所采用的数据入库方式。这种方式对日常业务是可以满足效率需求的,但是当有大批量数据,例如超过100MB数据入库时,封装sql,执行sql就会显得速度极慢。
而数据转换的场景中可能会涉及到大数据入库,本方案的另一些实施例通过mysql提供的大数据入库方式,load data来完成。具体的执行语句如下:
"load data local infile'ignore.csv'REPLACE into table"+REPLACE_TABLE+"CHARACTER SET utf8mb4"+"("+REPLACE_FIELDS+")"。
ignore.csv只是虚拟名称,并不需要真实的文件。将数据以inputStream流的方式传入mysql官方提供的SDK,mysqlStatement.setLocalInfileInputStream(inputStream)。
以此完成最终的数据入库。
在一些实施例中,本申请做了2000条自定义档案数据,从一家企业复制给另一家企业进行数据复制和转换。编码均使用java语言,同环境测试,保证硬件一致。
第一种是未采用本技术方案实现流程,通过java官方的JDK方法和sql语句来完成;
第二种是采用本方案进行数据复制和转换。
最终执行效果如下:
通过上述方法,通过上述方法,可以将第一企业的数据无缝复制给第二企业来使用,无需停服,就可以进行数据的传输,实现实时进行数据的复制和转换。
图6为本申请实施例提供的一种数据转换装置的模块框图。该装置包括:
存储器201;以及与所述存储器201连接的处理器202,所述处理器202被配置成:获取第一企业待转换的目标数据所涉及的第一数据库表,从所述第一数据库表中获取所述目标数据;
识别获取的所述目标数据中的第一ID数据,将所述第一ID数据转换成第二企业可用的第二ID数据;
将执行所述第一ID数据转换成所述第二ID数据的操作后的所述目标数据写入所述第二企业的第二数据库表中,以完成数据入库。
在一些实施例中,所述处理器202还被配置成:识别获取的所述目标数据中的所述第一ID数据的方法包括:
动态创建数据字典,通过所述数据字典进行所述第一ID数据的识别。
在一些实施例中,所述处理器202还被配置成:动态创建所述数据字典的方法包括:
监听所述数据库中与所述第一企业相关的新增ID数据;
实时获取所述新增ID数据,利用所述新增ID数据动态创建和更新树结构的所述数据字典,所述数据字典用于提供关键字前缀查询以及全文命中查询。
在一些实施例中,所述处理器202还被配置成:通过所述数据字典进行所述第一ID数据的识别的方法包括:
基于系统内所述ID数据的最小长度,设置所述第一ID数据的最少检索长度,在进行检索识别时,只截取大于等于所述最少检索长度的字符串进行匹配。
在一些实施例中,所述处理器202还被配置成:将所述第一ID数据转换成所述第二企业可用的所述第二ID数据的方法包括:
通过字符串的replace函数进行格式转换。
在一些实施例中,所述处理器202还被配置成:从所述第一数据库表中获取所述目标数据的方法包括:
通过结构化查询语言,使用所述第一ID数据作为查询条件查询到对应的所述目标数据;和/或,通过结构化查询语言,使用所述目标数据被配置时的更新时间字段作为查询条件查询到对应的所述目标数据。
在一些实施例中,所述处理器202还被配置成:将执行所述第一ID数据转换成所述第二ID数据的操作后的所述目标数据写入所述第二企业的所述第二数据库表中的方法包括:
通过insert语句进行批量保存或者通过mysql提供的大数据入库方式,load data来完成。
具体实现方法参考前述方法实施例,此处不再赘述。
本申请可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本申请的各个方面。
这里参照根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元,从而生产出一种机器,使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上,使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
注意,除非另有直接说明,否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此,除非另有明确说明,否则所公开的每一个特征仅是一组等效或类似特征的一个示例。在使用到的情况下,进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头,该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。
虽然,上文中已经用一般性说明及具体实施例对本申请作了详尽的描述,但在本申请基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本申请精神的基础上所做的这些修改或改进,均属于本申请要求保护的范围。
Claims (9)
1.一种数据转换方法,其特征在于,包括以下步骤:
获取第一企业待转换的目标数据所涉及的第一数据库表,从所述第一数据库表中获取所述目标数据;
识别获取的所述目标数据中的第一ID数据,将所述第一ID数据转换成第二企业可用的第二ID数据;
将执行所述第一ID数据转换成所述第二ID数据的操作后的所述目标数据写入所述第二企业的第二数据库表中,以完成数据入库。
2.根据权利要求1所述的数据转换方法,其特征在于,识别获取的所述目标数据中的所述第一ID数据的方法包括:
获取动态创建的数据字典,通过所述数据字典进行所述第一ID数据的识别。
3.根据权利要求2所述的数据转换方法,其特征在于,动态创建所述数据字典的方法包括:
监听所述数据库中与所述第一企业相关的新增ID数据;
实时获取所述新增ID数据,利用所述新增ID数据动态创建和更新树结构的所述数据字典,所述数据字典用于提供关键字前缀查询以及全文命中查询。
4.根据权利要求2所述的数据转换方法,其特征在于,通过所述数据字典进行所述第一ID数据的识别的方法包括:
基于系统内所述ID数据的最小长度,设置所述第一ID数据的最少检索长度,在进行检索识别时,只截取大于等于所述最少检索长度的字符串进行匹配。
5.根据权利要求1所述的数据转换方法,其特征在于,将所述第一ID数据转换成所述第二企业可用的所述第二ID数据的方法包括:
通过字符串的replace函数进行格式转换。
6.根据权利要求1所述的数据转换方法,其特征在于,从所述第一数据库表中获取所述目标数据的方法包括:
通过结构化查询语言,使用所述第一ID数据作为查询条件查询到对应的所述目标数据;
和/或,通过结构化查询语言,使用所述目标数据被配置时的更新时间字段作为查询条件查询到对应的所述目标数据。
7.根据权利要求1所述的数据转换方法,其特征在于,将执行所述第一ID数据转换成所述第二ID数据的操作后的所述目标数据写入所述第二企业的所述第二数据库表中的方法包括:
通过insert语句进行批量保存或者通过mysql提供的大数据入库方式,load data来完成。
8.一种数据转换装置,其特征在于,包括:
存储器;以及
与所述存储器连接的处理器,所述处理器被配置成:
获取第一企业待转换的目标数据所涉及的第一数据库表,从所述第一数据库表中获取所述目标数据;
识别获取的所述目标数据中的第一ID数据,将所述第一ID数据转换成第二企业可用的第二ID数据;
将执行所述第一ID数据转换成所述第二ID数据的操作后的所述目标数据写入所述第二企业的第二数据库表中,以完成数据入库。
9.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被机器执行时实现如权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211603104.2A CN115827634A (zh) | 2022-12-13 | 2022-12-13 | 一种数据转换方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211603104.2A CN115827634A (zh) | 2022-12-13 | 2022-12-13 | 一种数据转换方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115827634A true CN115827634A (zh) | 2023-03-21 |
Family
ID=85547165
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211603104.2A Pending CN115827634A (zh) | 2022-12-13 | 2022-12-13 | 一种数据转换方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115827634A (zh) |
-
2022
- 2022-12-13 CN CN202211603104.2A patent/CN115827634A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10255308B2 (en) | Conforming data structure instances to schema versions | |
WO2021189829A1 (zh) | 数据查询方法、装置、电子设备及存储介质 | |
JP2018533126A (ja) | データベースへの自然言語インタフェースのための方法、システム、およびコンピュータ・プログラム製品 | |
US8756407B2 (en) | Configuration rule prototyping tool | |
CN102081515A (zh) | 提供上下文感知的输入数据的方法和设备 | |
CN109670297A (zh) | 业务权限的开通方法、装置、存储介质及电子设备 | |
CN109617647A (zh) | 报文转换方法、装置、计算机设备及计算机可读存储介质 | |
CN114328574A (zh) | 一种数据查询方法、装置、电子设备及计算机可读存储介质 | |
US20150278231A1 (en) | System and method for customizing archive of a device driver generator tool for a user | |
CN110738038A (zh) | 合同文本的生成方法、装置、设备及计算机可读存储介质 | |
CN105320681A (zh) | 一种数据库内容合并方法及装置 | |
CN113626223A (zh) | 一种接口调用方法和装置 | |
CN113672204A (zh) | 一种接口文档生成方法、系统、电子设备及存储介质 | |
US20150378835A1 (en) | Managing data storage system | |
CN110109893A (zh) | 数据建模和操作的方法和装置 | |
US10984190B2 (en) | Atom-based sensible synchronization for information indexing | |
CN110674084A (zh) | 用于数据保护的方法、设备和计算机可读存储介质 | |
US20220391529A1 (en) | Searching, matching, and masking of composite formats | |
US9760653B2 (en) | Mapping non-generic markup language elements to generic object-oriented programming language objects | |
CN115827634A (zh) | 一种数据转换方法、装置及存储介质 | |
CN111143461A (zh) | 映射关系处理系统、方法和电子设备 | |
US9621424B2 (en) | Providing a common interface for accessing and presenting component configuration settings | |
US20050273755A1 (en) | Scripting engine for network communication software | |
CN112380142A (zh) | 接口文档管理方法、装置和测试设备 | |
CN114281307A (zh) | 一种低代码多环境同步发布平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |