CN111144136B - 数据转换方法、系统、计算机设备及可读存储介质 - Google Patents
数据转换方法、系统、计算机设备及可读存储介质 Download PDFInfo
- Publication number
- CN111144136B CN111144136B CN201911164124.2A CN201911164124A CN111144136B CN 111144136 B CN111144136 B CN 111144136B CN 201911164124 A CN201911164124 A CN 201911164124A CN 111144136 B CN111144136 B CN 111144136B
- Authority
- CN
- China
- Prior art keywords
- translation
- conversion
- resource library
- result
- converted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 348
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013519 translation Methods 0.000 claims abstract description 282
- 238000012937 correction Methods 0.000 claims description 49
- 230000014616 translation Effects 0.000 description 174
- 238000013523 data management Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001915 proofreading effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000009674 qiangzhi Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
- G06F16/90344—Query processing by using string matching techniques
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种数据转换方法,包括:导入待转换表;将所述待转换表进行翻译,得到翻译待转换表;获取预先创建的转换资源库;根据所述转换资源库对所述翻译待转换表进行匹配;如果匹配到转换结果,则选择推荐指数最高的所述转换结果对所述翻译待转换表进行表名和字段名转换,否则通过人工转换对所述翻译待转换表进行表名和字段转换;将转换过后的表上传至所述转换资源库,并更新在本次转换中所使用转换结果的使用次数。本发明还公开了一种数据转换系统、计算机设备及可读存储介质。采用本发明,能够解决现阶段人工自主判断地对数据进行转换而导致实施进度会非常慢的问题,实现数据的自动智能转换,提高转换效率。
Description
技术领域
本发明涉及数据治理领域,尤其涉及数据转换方法、系统、计算机设备及可读存储介质。
背景技术
目前,数据标准化转换工作,就是把命名不规范的字段,参考国标中文翻译首字母大写组合而成的字符串。并在根据学校业务情况制定相应的数据类型,长度、精度,从而形成一套标准规范的标准数据结构。现阶段,转换每一个字段,都是通过人工自主判断,手工逐字段的填写,而学校又需要治理的数据非常多,每个表往往会有上百字段,这样实施进度会非常慢。
发明内容
本发明所要解决的技术问题在于,提供一种数据转换方法、系统、计算设备及可读存储介质,能够解决现阶段人工自主判断地对数据进行转换,实施进度会非常慢的问题。
为了解决上述技术问题,本发明提供了一种数据转换方法,包括:导入待转换表;将所述待转换表进行翻译,得到翻译待转换表;获取预先创建的转换资源库,其中,所述转换资源库用于存储表名和字段名的转换结果;根据所述转换资源库对所述翻译待转换表进行匹配;如果匹配到转换结果,则选择推荐指数最高的所述转换结果对所述翻译待转换表进行表名和字段名转换,否则通过人工转换对所述翻译待转换表进行表名和字段转换,其中,所述推荐指数是当前转换结果的使用次数占所有匹配转换结果的使用次数总和的比值,所述比值取1~10之间的整数值;将转换过后的表上传至所述转换资源库,并更新在本次转换中所使用转换结果的使用次数。
优选地,所述转换资源库包括校内转换资源库和云端转换资源库;所述校内转换资源库由当前学校在使用过程中不断积累的转换资源库;所述云端转换资源库是学校之间都可访问的转换资源库,由多个学校在使用过程中不断积累的转换资源库。
优选地,所述根据所述转换资源库对所述翻译待转换表进行匹配的步骤包括:获取所述翻译待转换表的系统、版本、厂商以及表名;根据所述系统、版本、厂家以及表名匹配所述校内转换资源库中的校内转换结果;如果匹配到校内转换结果,则根据所述校内转换结果对所述翻译待转换表进行转换,否则根据所述系统、版本、厂家以及表名匹配所述云端转换资源库中的云端转换结果;如果匹配到云端转换结果,则根据所述云端转换结果对所述翻译待转换表进行转换,否则通过人工转换对所述翻译待转换表进行表名和字段转换。
优选地,在所述通过人工转换对所述翻译待转换表进行表名和字段转换步骤之前还包括:依次减少匹配条件,减少版本、系统、厂家、表名、直到单个字段名,再去匹配所述校内转换资源库中的校内转换结果;如果匹配到校内转换结果,则根据所述校内转换结果对所述翻译待转换表进行转换,否则去匹配所述云端转换资源库中的云端转换结果;如果匹配到云端转换结果,则根据所述云端转换结果对所述翻译待转换表进行转换,否则进行人工转换。
优选地,转换结束之后,在将转换过后的表上传至所述转换资源库步骤之前,还包括:对转换过后的翻译待转换表进行人工校对。
优选地,所述将所述待转换表进行翻译,得到翻译待转换表步骤包括:获取所述待转换表的备注翻译;根据所述备注翻译对所述待转换表进行翻译;获取预先创建的翻译资源库,其中,所述翻译资源库用于存储表名和字段名的翻译结果,所述翻译资源库包括校内翻译资源库和云端翻译资源库,所述校内翻译资源库由当前学校在使用过程中不断积累的翻译资源库,所述云端翻译资源库是学校之间都可访问的翻译资源库,由多个学校在使用过程中不断积累的翻译资源库;根据所述翻译资源库对所述待转换表表进行匹配;如果匹配到翻译结果,则选择推荐指数最高的所述翻译结果对所述待转换表进行表名和字段名翻译,否则通过人工翻译对所述待转换表进行表名和字段翻译,其中,所述推荐指数是当前翻译结果的使用次数占所有匹配翻译结果的使用次数总和的比值,所述比值取1~10之间的整数值;再对翻译过后的待转换表进行人工校对最终得到翻译待转换表;将所述翻译待转换表上传至所述翻译资源库,并更新在本次翻译中所使用翻译结果的使用次数。
优选地,所述根据所述翻译资源库对所述待转换表进行匹配的步骤包括:获取所述待转换表的系统、版本、厂商以及表名;根据所述系统、版本、厂家以及表名匹配所述校内翻译资源库中的校内翻译结果,如果匹配到校内翻译结果,则根据所述校内翻译结果对所述待转换表进行翻译,否则根据所述系统、版本、厂家以及表名匹配所述云端翻译资源库中的云端翻译结果,如果匹配到云端翻译结果,则根据所述云端翻译结果对所述待转换表进行翻译,否则依次减少匹配条件,减少版本、系统、厂家、表名、直到单个字段名,再去匹配所述校内翻译资源库中的校内翻译结果,如果匹配到校内翻译结果,则根据所述校内翻译结果对所述待转换表进行翻译,否则去匹配所述云端翻译资源库中的云端翻译结果,如果匹配到云端翻译结果,则根据所述云端翻译结果对所述待转换表进行翻译,否则进行人工翻译。
本发明还提供了一种数据转换系统,包括:导入模块,用于导入待转换表;翻译模块,用于将所述待转换表进行翻译,得到翻译待转换表;获取模块,用于获取预先创建的转换资源库;匹配模块,用于根据所述转换资源库对所述翻译待转换表进行匹配;上传更新模块,用于将转换过后的表上传至所述转换资源库,并更新在本次转换中所使用转换结果的使用次数。
优选地,所述翻译模块包括:获取单元,用于获取预先创建的翻译资源库;导入单元,用于导入待转换表;匹配单元,用于根据所述翻译资源库对所述待转换表进行匹配;上传更新单元,用于将翻译过后的表上传至所述翻译资源库,并更新在本次翻译中所使用翻译结果的使用次数。
本发明还提供了一种计算机设备及可读存储介质,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现数据转换方法的步骤。
实施本发明的有益效果在于:
本发明提供一种数据转换方法、系统、计算机设备及可读存储介质,能够解决现阶段人工自主判断地对数据进行转换,实施进度会非常慢的问题。实现数据的自动智能转换,提高转换效率。通过对转换系统的不断使用,不断积累转换资源库,减少重复性的人工转换工作,直接智能匹配转换库中的转换结果,最后只需通过人工简单校对,即可完成数据的转换,对于无法匹配转换结果的数据,则通过人工转换,并将此次的转换记录在转换资源库中,不断丰富转换资源库。
附图说明
图1是本发明提供的数据转换方法流程图;
图2是本发明提供的转换结果匹配流程图;
图3是本发明提供的翻译结果匹配流程图;
图4是本发明提供的数据转换系统示意图;
图5是本发明提供的翻译模块示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述。仅此声明,本发明在文中出现或即将出现的上、下、左、右、前、后、内、外等方位用词,仅以本发明的附图为基准,其并不是对本发明的具体限定。
如图1所示,本发明提供了一种数据转换方法,包括:
S101,导入待转换表。
S102,将所述待转换表进行翻译,得到翻译待转换表。在转换之前,先对待转换表进行翻译,获得表名和字段名的中文翻译,以便后续转换,通过中文去匹配转换结果。
S103,获取预先创建的转换资源库,其中,所述转换资源库用于存储表名和字段名的转换结果;所述转换资源库包括校内转换资源库和云端转换资源库;所述校内转换资源库由当前学校在使用过程中不断积累的转换资源库;所述云端转换资源库是学校之间都可访问的转换资源库,由多个学校在使用过程中不断积累的转换资源库。
S104,根据所述转换资源库对所述翻译待转换表进行匹配。
S105,判断是否匹配到转换结果。
S106,如果匹配到转换结果,则选择推荐指数最高的所述转换结果对所述翻译待转换表进行表名和字段名转换,其中,所述推荐指数是当前转换结果的使用次数占所有匹配转换结果的使用次数总和的比值,所述比值取1~10之间的整数值。例如,匹配队列中存在两个匹配结果“姓名-XM-60次”与“学生姓名-XSXM-40次”,那么各自的推荐指数分别为6和4,最终选择推荐指数高的“姓名-XM-60次”作为匹配结果,进行下一步转换。
S107,如果未匹配到转换结果,则通过人工转换对所述翻译待转换表进行表名和字段转换,对于转换资源库没有的转换结果,则需要人工将未能匹配到转换结果的翻译待转换表内容进行转换,人工转换需要的时间较长,但也不能避免,只要不断地弥补转换资源库的空白,才能不断完善,减少人工转换过程的出现。
S108,将转换过后的表上传至所述转换资源库,并更新在本次转换中所使用转换结果的使用次数,一次转换过后,如果是直接匹配到转换资源库里面现有的转换结果,将会更新该转换结果的使用次数,在下次转换类似表和字段时,该转换结果的推荐指数就会增加;如果是通过人工转换的,则会将本次人工转换的结果上传至转换资源库,不断积累转换资源总量,不断提升转换精准推荐度,不断提高转换的自动转换完成率,大大减少人的工作量。
本发明通过预先创建转换资源库,在前期不断的人工转换下丰富转换资源库,从而不断提高自动匹配的成功率,每次转换匹配成功后,都会更新所匹配转换结果的使用次数,在进行下一次类似转换时,该转换结果的推荐指数会随着改变,进而不断提升转换的精准度。实施本发明,不仅降低使用人员技术门槛,所有人都可参与,减少因资源短缺导致实施进度延缓问题。采用机器自动匹配的方式,能够更精准更全面的转换表和字段,有效提高数据实施工程师的工作效率,并解决因为资源短缺导致工作不能进行的问题。在使用该技术后,原来要完成20个表约600个字段的转换,可能要花3-4天时间,现在只需要1-2个小时的时间就可以完成,大大的提高的转换的效率,大幅度的加快了数据实施人员的实施速度,原来实施一个学校的数据治理工作可能需要半年或更长时间,现在同样的人力我们可以在1到2个月内实施完成,大大的缩短了实施周期。
需要说明的是,在对表名进行转换的时,先将表名“student_info”翻译为“学生信息”,再转换为“XSJBXXB学生基本信息表”,因此转换资源库中对于表名的转换结果比较简单,人工转换也如此;在对字段进行转换时,还会涉及到字段的类型、长度以及精度的转换,因此,转换资源库中对于字段名的转换结果就复杂一点,除了字段名称转换外还包含字段类型、长度以及精度的转换,例如:“student_score学生成绩varchar(10)字符串长度10”转换标准后为“XSCJ学生成绩decimal(5,2)数值型长度5精度2”,人工转换也是如此。
如图2所示,所述根据所述转换资源库对所述翻译待转换表进行匹配的步骤包括:
S201,获取所述翻译待转换表的系统、版本、厂商以及表名,每所学校都有非常多的系统,每个系统都有对应的数据库,因此每个表都有相应的系统、版本以及厂商,通过系统、版本、厂商以及表名能够匹配到更为精准的转换结果,如果根据这些匹配件能够匹配到完全类似的表,则直接利用整个表的转换结果,从而大大减少工作量,提高转换的进度。
S202,根据所述系统、版本、厂家以及表名匹配所述校内转换资源库中的校内转换结果。一般而言,对本校的数据进行转换,率先使用校内转换资源库,效率会有所提高,因为学校里面的数据相关性相对较高。所述校内转换资源库由当前学校在使用过程中不断积累的转换资源库。
S203,判断是否匹配到校内转换结果。
S204,如果匹配到校内转换结果,则根据所述校内转换结果对所述翻译待转换表进行转换。
S205,如未匹配到校内转换结果,则根据所述系统、版本、厂家以及表名匹配所述云端转换资源库中的云端转换结果。所述云端转换资源库是学校之间都可访问的转换资源库,由多个学校在使用过程中不断积累的转换资源库。当校内转换资源库没有记录某个转换结果,可以通过云端转换资源库来匹配,相对而言,云端转换资源库积累的转换资源更丰富。
S206,判断是否匹配到云端转换结果。
S207,如果匹配到云端转换结果,则根据所述云端转换结果对所述翻译待转换表进行转换。
S208,如未匹配到云端转换结果,则通过人工转换对所述翻译待转换表进行表名和字段转换。
需要说明的是,图2描述的方法流程,是依据系统、版本、厂家以及表名的匹配条件对翻译待转换进行匹配翻译,当翻译待转换表匹配到了转换资源库的转换结果时,即存在系统、版本、厂家以及表名一致的转换结果,则直接采用该转换结果,作为所述翻译待转换表的转换结果,因为当系统、版本、厂家以及表名都一致的情况下,两个表就是同一类表,可以直接对整个表进行平移转换,因此能够大大减少工作量,提高转换的进度。
进一步地,在所述通过人工转换对所述翻译待转换表进行表名和字段转换步骤之前还包括:依次减少匹配条件,减少版本、系统、厂家、表名、直到单个字段名,再去匹配所述校内转换资源库中的校内转换结果;如果匹配到校内转换结果,则根据所述校内转换结果对所述翻译待转换表进行转换,否则去匹配所述云端转换资源库中的云端转换结果;如果匹配到云端转换结果,则根据所述云端转换结果对所述翻译待转换表进行转换,否则进行人工转换。
需要说明的是,在前面通过较为齐全的匹配条件,如所述系统、版本、厂家以及表名,而校内转换资源库与云端转换资源库没有匹配到结果时,此时,依次减少匹配的条件,直到单个字段,进行表名和字段名的转换。比如可以删去厂家匹配条件,如果匹配出转换结果,则可以直接用该转换结果对表名和字段名进行转换,如果还是没有,则继续删除其他匹配条件,直到单个字段,最终完成对翻译待转换表的转换。这样通过减少某些匹配条件,可以匹配到比较接近的转换结果,此时可以直接使用该转换结果,对翻译待转换表进行转换,从而提高匹配的成功率,提高转换的效率。
例如,转换资源库包含转换结果“版本v1.0、教务系统、江苏金智、学生表”,而翻译待转换表为“版本v1.0、教务系统、江西强智、学生表”,此时,需要减少厂家的匹配条件,才能匹配到转换资源库的转换结果,进而直接利用该转换结果。依次类推,如果一直没有匹配到转换结果,则通过人工转换。
更佳地,转换结束之后,在将转换过后的表上传至所述转换资源库步骤之前,还包括:对转换过后的翻译待转换表进行人工校对。通过转换系统对翻译待转换表进行转换时,可能会出现转换不恰当的转换结果,此时需要人工快速校对,以降低错误率,并将改正的转换结果上传至转换资源库,为以后的转换工作减少误差。
如图3所示,所述将所述待转换表进行翻译,得到翻译待转换表步骤包括:
S301,获取所述待转换表的备注翻译。
S302,根据所述备注翻译对所述待转换表进行翻译。
S303,获取预先创建的翻译资源库,其中,所述翻译资源库用于存储表名和字段名的翻译结果,所述翻译资源库包括校内翻译资源库和云端翻译资源库,所述校内翻译资源库由当前学校在使用过程中不断积累的翻译资源库,所述云端翻译资源库是学校之间都可访问的翻译资源库,由多个学校在使用过程中不断积累的翻译资源库。
S304,根据所述翻译资源库对所述待转换表表进行匹配。
S305,判断是否匹配到翻译结果。
S306,如果匹配到翻译结果,则选择推荐指数最高的所述翻译结果对所述待转换表进行表名和字段名翻译。
S307,否则通过人工翻译对所述待转换表进行表名和字段翻译,其中,所述推荐指数是当前翻译结果的使用次数占所有匹配翻译结果的使用次数总和的比值,所述比值取1~10之间的整数值。
S308,再对翻译过后的待转换表进行人工校对最终得到翻译待转换表。
S309,将所述翻译待转换表上传至所述翻译资源库,并更新在本次翻译中所使用翻译结果的使用次数。
本发明,在对待转换表进行转换之前,对所述待转换表进行翻译,以获得翻译待转换表。转换系统,根据翻译过后的表和字段,进行相应的数据转换。例如,字段名“email”,经翻译过后,获得翻译的字段名“邮箱”,经过系统转换后,匹配到的转换结果“YX邮箱”。此外,本发明通过预先创建翻译资源库,在前期不断的人工翻译下丰富翻译资源库,从而不断提高自动匹配的成功率,每次翻译匹配成功后,都会更新所匹配翻译结果的使用次数,在进行下一次类似翻译时,该翻译结果的推荐指数会随着改变,进而不断提升翻译的精准度,为后面的转换做好了翻译的基础。
进一步地,所述根据所述翻译资源库对所述待转换表进行匹配的步骤包括:获取所述待转换表的系统、版本、厂商以及表名;根据所述系统、版本、厂家以及表名匹配所述校内翻译资源库中的校内翻译结果;判断是否匹配到校内翻译结果,如果匹配到校内翻译结果,则根据所述校内翻译结果对所述待转换表进行翻译,如未匹配到校内翻译结果,则根据所述系统、版本、厂家以及表名匹配所述云端翻译资源库中的云端翻译结果;判断是否匹配到云端翻译结果,如果匹配到云端翻译结果,则根据所述云端翻译结果对所述待转换表进行翻译,如未匹配到云端翻译结果,则依次减少匹配条件,减少版本、系统、厂家、表名、直到单个字段名,再去匹配所述校内翻译资源库中的校内翻译结果;判断是否匹配到校内翻译结果,如果匹配到校内翻译结果,则根据所述校内翻译结果对所述待转换表进行翻译,如未匹配到校内翻译结果,则去匹配所述云端翻译资源库中的云端翻译结果;判断是否匹配到云端翻译结果,如果匹配到云端翻译结果,则根据所述云端翻译结果对所述待转换表进行翻译,如未匹配到云端翻译结果,则进行人工翻译。
需要说明的是,翻译流程的前半部分通过较为齐全的匹配条件,如所述系统、版本、厂家以及表名,而校内翻译资源库与云端翻译资源库没有匹配到结果时,此时,在翻译流程的后半部分,依次减少匹配的条件,直到单个字段,进行表名和字段名的翻译。比如可以删去厂家匹配条件,如果匹配出翻译结果,则可以直接用该翻译结果对表名和字段名进行翻译,如果还是没有,则继续删除其他匹配条件,直到单个字段,最终完成对待翻译表的翻译。这样通过减少某些匹配条件,可以匹配到比较接近的翻译结果,此时可以直接使用该翻译结果,对待翻译表进行翻译,从而提高匹配的成功率,提高翻译的效率。
如图4所示,本发明还提供了一种数据转换系统,包括:导入模块1,用于导入待转换表;翻译模块2,用于将所述待转换表进行翻译,得到翻译待转换表;获取模块3,用于获取预先创建的转换资源库;匹配模块4,用于根据所述转换资源库对所述翻译待转换表进行匹配;上传更新模块5,用于将转换过后的表上传至所述转换资源库,并更新在本次转换中所使用转换结果的使用次数。
本发明通过匹配模块根据所述转换资源库对所述翻译待转换表进行匹配,直接智能匹配转换资源库中的转换结果,最后只需通过人工简单校对,即可完成数据的转换,同时将本次转换中所使用转换结果的使用次数更新于转换资源库,对于无法匹配转换结果的数据,则通过人工转换,并将此次的转换上传在转换资源库中,不断丰富更新转换资源库,随着转换资源库的庞大,智能匹配的效率越来越高,大大提高转换的效率。
优选地,所述翻译模块2包括:获取单元201,用于获取预先创建的翻译资源库;导入单元202,用于导入待转换表;匹配单元203,用于根据所述翻译资源库对所述待转换表进行匹配;上传更新单元204,用于将翻译过后的表上传至所述翻译资源库,并更新在本次翻译中所使用翻译结果的使用次数。
需要说明的是,转换系统在对待转换表进行转换之前,通过翻译模块2对所述待转换表进行翻译,获得翻译待转换表。在前期不断的人工翻译下丰富翻译资源库,从而不断提高自动匹配的成功率,每次翻译匹配成功后,都会更新所匹配翻译结果的使用次数,在进行下一次类似翻译时,该翻译结果的推荐指数会随着改变,进而不断提升翻译的精准度,为后面的转换做好了翻译的基础。
本发明还提供了一种计算机设备及可读存储介质,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现数据转换方法的步骤。
综上所述,本发明提供的一种数据转换方法、系统、计算机设备及可读存储介质,能够解决现阶段人工自主判断地对数据进行转换,实施进度会非常慢的问题。实现数据的自动智能转换,提高转换效率。通过对转换系统的不断使用,不断积累转换资源库,减少重复性的人工转换工作,直接智能匹配转换转换库中的转换结果,最后只需通过人工简单校对,即可完成数据的转换,对于无法匹配转换结果的数据,则通过人工转换,并将此次的转换记录在转换资源库中,不断丰富转换资源库。在转换之前,还对待转换表进行翻译,从而为更好的匹配转换结果,提供了辨识度,为人工校对转换提供了翻译基础,降低使用人员技术门槛,所有人都可参与,减少因资源短缺导致实施进度延缓问题。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
Claims (9)
1.一种数据转换方法,其特征在于,包括:
导入待转换表;
将所述待转换表进行翻译,得到翻译待转换表;所述将所述待转换表进行翻译,得到翻译待转换表的步骤包括:获取所述待转换表的备注翻译;根据所述备注翻译对所述待转换表进行翻译;获取预先创建的翻译资源库,其中,所述翻译资源库用于存储表名和字段名的翻译结果,所述翻译资源库包括校内翻译资源库和云端翻译资源库,所述校内翻译资源库由当前学校在使用过程中不断积累的翻译资源库,所述云端翻译资源库是学校之间都可访问的翻译资源库,由多个学校在使用过程中不断积累的翻译资源库;根据所述翻译资源库对所述待转换表表进行匹配;如果匹配到翻译结果,则选择推荐指数最高的所述翻译结果对所述待转换表进行表名和字段名翻译,否则通过人工翻译对所述待转换表进行表名和字段翻译,其中,所述推荐指数是当前翻译结果的使用次数占所有匹配翻译结果的使用次数总和的比值,所述比值取1~10之间的整数值;再对翻译过后的待转换表进行人工校对最终得到翻译待转换表;将所述翻译待转换表上传至所述翻译资源库,并更新在本次翻译中所使用翻译结果的使用次数;通过预先创建翻译资源库,在前期不断的人工翻译下丰富翻译资源库,从而不断提高自动匹配的成功率,每次翻译匹配成功后,都会更新所匹配翻译结果的使用次数,在进行下一次类似翻译时,该翻译结果的推荐指数会随着改变,进而不断提升翻译的精准度,为后面的转换做好了翻译的基础;
获取预先创建的转换资源库,其中,所述转换资源库用于存储表名和字段名的转换结果;
根据所述转换资源库对所述翻译待转换表进行匹配;
如果匹配到转换结果,则选择推荐指数最高的所述转换结果对所述翻译待转换表进行表名和字段名转换,否则通过人工转换对所述翻译待转换表进行表名和字段转换,其中,所述推荐指数是当前转换结果的使用次数占所有匹配转换结果的使用次数总和的比值,所述比值取1~10之间的整数值;
将转换过后的表上传至所述转换资源库,并更新在本次转换中所使用转换结果的使用次数,一次转换过后,如果是直接匹配到转换资源库里面现有的转换结果,将会更新该转换结果的使用次数,在下次转换类似表和字段时,该转换结果的推荐指数就会增加;如果是通过人工转换的,则会将本次人工转换的结果上传至转换资源库,不断积累转换资源总量,不断提升转换精准推荐度,不断提高转换的自动转换完成率。
2.如权利要求1所述的数据转换方法,其特征在于,所述转换资源库包括校内转换资源库和云端转换资源库;
所述校内转换资源库由当前学校在使用过程中不断积累的转换资源库;
所述云端转换资源库是学校之间都可访问的转换资源库,由多个学校在使用过程中不断积累的转换资源库。
3.如权利要求1所述的数据转换方法,其特征在于,所述根据所述转换资源库对所述翻译待转换表进行匹配的步骤包括:
获取所述翻译待转换表的系统、版本、厂商以及表名;
根据所述系统、版本、厂家以及表名匹配校内转换资源库中的校内转换结果;
如果匹配到校内转换结果,则根据所述校内转换结果对所述翻译待转换表进行转换,否则根据所述系统、版本、厂家以及表名匹配云端转换资源库中的云端转换结果;
如果匹配到云端转换结果,则根据所述云端转换结果对所述翻译待转换表进行转换,否则通过人工转换对所述翻译待转换表进行表名和字段转换。
4.如权利要求3所述的数据转换方法,其特征在于,在所述通过人工转换对所述翻译待转换表进行表名和字段转换步骤之前还包括:
依次减少匹配条件,减少版本、系统、厂家、表名、直到单个字段名,再去匹配所述校内转换资源库中的校内转换结果;
如果匹配到校内转换结果,则根据所述校内转换结果对所述翻译待转换表进行转换,否则去匹配所述云端转换资源库中的云端转换结果;
如果匹配到云端转换结果,则根据所述云端转换结果对所述翻译待转换表进行转换,否则进行人工转换。
5.如权利要求1所述的数据转换方法,其特征在于,转换结束之后,在将转换过后的表上传至所述转换资源库步骤之前,还包括:
对转换过后的翻译待转换表进行人工校对。
6.如权利要求1所述的数据转换方法,其特征在于,所述根据所述翻译资源库对所述待转换表进行匹配的步骤包括:
获取所述待转换表的系统、版本、厂商以及表名;
根据所述系统、版本、厂家以及表名匹配所述校内翻译资源库中的校内翻译结果;
如果匹配到校内翻译结果,则根据所述校内翻译结果对所述待转换表进行翻译,否则根据所述系统、版本、厂家以及表名匹配所述云端翻译资源库中的云端翻译结果;
如果匹配到云端翻译结果,则根据所述云端翻译结果对所述待转换表进行翻译,否则依次减少匹配条件,减少版本、系统、厂家、表名、直到单个字段名,再去匹配所述校内翻译资源库中的校内翻译结果;
如果匹配到校内翻译结果,则根据所述校内翻译结果对所述待转换表进行翻译,否则去匹配所述云端翻译资源库中的云端翻译结果;
如果匹配到云端翻译结果,则根据所述云端翻译结果对所述待转换表进行翻译,否则进行人工翻译。
7.一种数据转换系统,其特征在于,包括:
导入模块,用于导入待转换表;
翻译模块,用于将所述待转换表进行翻译,得到翻译待转换表;所述将所述待转换表进行翻译,得到翻译待转换表的步骤包括:获取所述待转换表的备注翻译;根据所述备注翻译对所述待转换表进行翻译;获取预先创建的翻译资源库,其中,所述翻译资源库用于存储表名和字段名的翻译结果,所述翻译资源库包括校内翻译资源库和云端翻译资源库,所述校内翻译资源库由当前学校在使用过程中不断积累的翻译资源库,所述云端翻译资源库是学校之间都可访问的翻译资源库,由多个学校在使用过程中不断积累的翻译资源库;根据所述翻译资源库对所述待转换表表进行匹配;如果匹配到翻译结果,则选择推荐指数最高的所述翻译结果对所述待转换表进行表名和字段名翻译,否则通过人工翻译对所述待转换表进行表名和字段翻译,其中,所述推荐指数是当前翻译结果的使用次数占所有匹配翻译结果的使用次数总和的比值,所述比值取1~10之间的整数值;再对翻译过后的待转换表进行人工校对最终得到翻译待转换表;将所述翻译待转换表上传至所述翻译资源库,并更新在本次翻译中所使用翻译结果的使用次数;通过预先创建翻译资源库,在前期不断的人工翻译下丰富翻译资源库,从而不断提高自动匹配的成功率,每次翻译匹配成功后,都会更新所匹配翻译结果的使用次数,在进行下一次类似翻译时,该翻译结果的推荐指数会随着改变,进而不断提升翻译的精准度,为后面的转换做好了翻译的基础;
获取模块,用于获取预先创建的转换资源库;
匹配模块,用于根据所述转换资源库对所述翻译待转换表进行匹配;
上传更新模块,用于将转换过后的表上传至所述转换资源库,并更新在本次转换中所使用转换结果的使用次数,一次转换过后,如果是直接匹配到转换资源库里面现有的转换结果,将会更新该转换结果的使用次数,在下次转换类似表和字段时,该转换结果的推荐指数就会增加;如果是通过人工转换的,则会将本次人工转换的结果上传至转换资源库,不断积累转换资源总量,不断提升转换精准推荐度,不断提高转换的自动转换完成率。
8.如权利要求7所述的数据转换系统,其特征在于,所述翻译模块包括:
获取单元,用于获取预先创建的翻译资源库;
导入单元,用于导入待转换表;
匹配单元,用于根据所述翻译资源库对所述待转换表进行匹配;
上传更新单元,用于将翻译过后的表上传至所述翻译资源库,并更新在本次翻译中所使用翻译结果的使用次数。
9.一种计算机设备及可读存储介质,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,其特征在于,所述处理器执行所述指令时实现权利要求1-6任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911164124.2A CN111144136B (zh) | 2019-11-25 | 2019-11-25 | 数据转换方法、系统、计算机设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911164124.2A CN111144136B (zh) | 2019-11-25 | 2019-11-25 | 数据转换方法、系统、计算机设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111144136A CN111144136A (zh) | 2020-05-12 |
CN111144136B true CN111144136B (zh) | 2024-02-23 |
Family
ID=70516619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911164124.2A Active CN111144136B (zh) | 2019-11-25 | 2019-11-25 | 数据转换方法、系统、计算机设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111144136B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104463158A (zh) * | 2014-12-10 | 2015-03-25 | 广东欧珀移动通信有限公司 | 翻译方法及装置 |
CN105677706A (zh) * | 2015-12-28 | 2016-06-15 | 武汉传神信息技术有限公司 | 一种语料检索匹配方法 |
CN107741931A (zh) * | 2017-08-30 | 2018-02-27 | 捷开通讯(深圳)有限公司 | 操作系统框架的翻译方法、移动终端和存储装置 |
CN110457323A (zh) * | 2019-08-08 | 2019-11-15 | 北京明略软件系统有限公司 | 数据表的处理方法及装置 |
-
2019
- 2019-11-25 CN CN201911164124.2A patent/CN111144136B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104463158A (zh) * | 2014-12-10 | 2015-03-25 | 广东欧珀移动通信有限公司 | 翻译方法及装置 |
CN105677706A (zh) * | 2015-12-28 | 2016-06-15 | 武汉传神信息技术有限公司 | 一种语料检索匹配方法 |
CN107741931A (zh) * | 2017-08-30 | 2018-02-27 | 捷开通讯(深圳)有限公司 | 操作系统框架的翻译方法、移动终端和存储装置 |
CN110457323A (zh) * | 2019-08-08 | 2019-11-15 | 北京明略软件系统有限公司 | 数据表的处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111144136A (zh) | 2020-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104866593A (zh) | 一种基于知识图谱的数据库搜索方法 | |
US11151179B2 (en) | Method, apparatus and electronic device for determining knowledge sample data set | |
CN109918640B (zh) | 一种基于知识图谱的中文文本校对方法 | |
US8346819B2 (en) | Enhanced data conversion framework | |
CN109284352A (zh) | 一种基于倒排索引的评估类文档不定长词句的查询方法 | |
CN110532358A (zh) | 一种面向知识库问答的模板自动生成方法 | |
CN101794307A (zh) | 基于互联网分词思想的车载导航poi搜索引擎 | |
CN111190920B (zh) | 一种基于自然语言的数据交互查询方法及其系统 | |
CN107220274A (zh) | 一种可视化数据接口集市实现方法 | |
CN108334622A (zh) | 一种获取格式化复合数据的方法 | |
US11263396B2 (en) | System and method for document conversion to a template | |
CN115525768A (zh) | 一种领域知识图谱可视化构建方法及装置 | |
CN113238865A (zh) | 基于Excel一键导入的快速构建知识图谱的方法 | |
CN114417012A (zh) | 一种生成知识图谱的方法和电子设备 | |
CN111144136B (zh) | 数据转换方法、系统、计算机设备及可读存储介质 | |
CN111914028A (zh) | 一种基于图增量同步异构数据源数据关系的方法及装置 | |
CN116362219A (zh) | 信息提取模板生成方法及装置、介质、设备 | |
CN116010439A (zh) | 一种可视化中文sql系统及构建查询方法 | |
CN114186554A (zh) | 脚本数据处理方法、装置、计算机设备及存储介质 | |
CN114116779A (zh) | 基于深度学习的电网调控领域信息检索方法、系统和介质 | |
CN115617773A (zh) | 数据迁移的方法、装置和系统 | |
CN111143348A (zh) | 数据翻译方法、系统、计算机设备及可读存储介质 | |
CN111221846B (zh) | 一种sql语句的自动翻译方法及装置 | |
CN117827847B (zh) | 结合大语言模型的训练样本构建方法、系统、设备及介质 | |
CN113505128B (zh) | 创建数据表的方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |