CN112685415A - 数据导入方法、装置、计算机设备和存储介质 - Google Patents
数据导入方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112685415A CN112685415A CN202011611980.0A CN202011611980A CN112685415A CN 112685415 A CN112685415 A CN 112685415A CN 202011611980 A CN202011611980 A CN 202011611980A CN 112685415 A CN112685415 A CN 112685415A
- Authority
- CN
- China
- Prior art keywords
- data table
- field
- source data
- fields
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000008676 import Effects 0.000 title claims abstract description 15
- 238000013507 mapping Methods 0.000 claims abstract description 72
- 238000012163 sequencing technique Methods 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000005012 migration Effects 0.000 abstract description 2
- 238000013508 migration Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 13
- 230000001360 synchronised effect Effects 0.000 description 11
- 238000013506 data mapping Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000013501 data transformation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007876 drug discovery Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及数据迁移技术领域，揭示了一种数据导入方法、装置、计算机设备和存储介质，其中方法包括：获取同一业务类型的多个历史源数据表；统计各个历史源数据表的字段个数及字段含义，根据统计结果计算历史源数据表的平均字段个数，将平均字段个数作为初始字段个数，并对各字段含义依据出现的次数进行排序，选取出现次数排在前列的字段含义作为初始字段含义；根据初始字段个数及初始字段含义设置空白数据表的字段个数和字段含义；获取目标源数据表，确定目标源数据表的业务类型及目标字段个数，构建目标源数据表的业务类型与空白数据表的字段含义的映射关系；根据映射关系将目标源数据表的数据导入空白数据表中，以提高数据同步的效率。
Description
技术领域
本申请涉及到数据迁移技术领域，特别是涉及到一种数据导入方法、装置、计算机设备和存储介质。
背景技术
随着企业的发展以及大数据时代的到来，各种企业管理软件越来越多的应用于企业中。为了加强企业管理，或者是满足某些特殊的业务需求，需在不同的企业管理软件间实现跨系统的数据交换，也就是将其它系统的数据同步至自身系统的过程。
当前数据从源数据表导入到目标数据表的过程中，都需要预先定义数据表字段个数和字段含义，而每次修改字段数量，或者变更字段含义都需要进行程序二次开发支持，如果需要多次修改字段数量，或者多次变更字段含义，则达不到快速响应，造成数据同步的效率较低。
发明内容
本申请的主要目的为提供一种数据导入方法、装置、计算机设备和存储介质，旨在解决目前的数据导入方法修改字段数量或变更字段含义的频率较高，导致数据同步效率较低的技术问题。
为了实现上述发明目的，本申请提出一种数据导入方法，包括：
获取同一业务类型的多个历史源数据表；
统计各个所述历史源数据表的字段个数及字段含义，根据统计结果计算所述历史源数据表的平均字段个数，将所述平均字段个数作为初始字段个数，以及，对所有所述历史源数据表中各字段含义依据出现的次数进行排序，并选取出现次数排在前列的字段含义作为初始字段含义；
创建待导入数据的空白数据表，根据所述初始字段个数设置所述空白数据表的字段个数，根据所述初始字段含义设置所述空白数据表中各字段的字段含义；
获取目标源数据表，确定所述目标源数据表的业务类型及目标字段个数，根据所述目标字段个数及所述空白数据表的字段个数修改所述空白数据表的字段数量，并构建所述目标源数据表的业务类型与空白数据表的字段含义的映射关系；
根据所述映射关系将目标源数据表的数据导入修改字段数量后的所述空白数据表中。
在一实施例中，所述根据所述映射关系将目标源数据表的数据导入修改字段数量后的所述空白数据表中的步骤，包括：
根据预置的转换规则对所述目标源数据表的数据进行转换处理，将所述目标源数据表的数据转换成修改字段数量后的所述空白数据表的数据格式；
根据所述映射关系将目标源数据表的数据按照所述数据格式导入所述空白数据表中。
在一实施例中，所述将所述目标源数据表的数据转换成修改字段数量后的所述空白数据表的数据格式的步骤，包括：
将所述目标源数据表中包括字符的字段转换成所述空白数据表的数据格式。
在一实施例中，所述根据所述映射关系将目标源数据表的数据导入修改字段数量后的所述空白数据表中的步骤之后，还包括：
接收用户输入的数据调整信息；
根据所述数据调整信息对已导入所述空白数据表的指定数据进行调整。
在一实施例中，所述根据统计结果计算所述历史源数据表的平均字段个数的步骤，包括：
获取统计结果中历史源数据表的总数及所有历史源数据表的累计字段个数；
根据所述历史源数据表的总数及所有历史源数据表的累计字段个数计算所述平均字段个数。
在一实施例中，所述根据所述映射关系将目标源数据表的数据导入修改字段数量后的所述空白数据表中的步骤之后，还包括：
当监测到所述目标源数据表的数据被更新后，将更新后的所述目标源数据表的数据导入所述空白数据表的相应字段中。
可选地，所述映射关系包括主键字段映射关系、关联字段映射关系和普通字段映射关系中的任意一种或多种。
本申请还提供一种数据导入装置，包括：
获取模块，用于获取同一业务类型的多个历史源数据表；
统计模块，用于统计各个所述历史源数据表的字段个数及字段含义，根据统计结果计算所述历史源数据表的平均字段个数，将所述平均字段个数作为初始字段个数，以及，对所有所述历史源数据表中各字段含义依据出现的次数进行排序，并选取出现次数排在前列的字段含义作为初始字段含义；
创建模块，用于创建待导入数据的空白数据表，根据所述初始字段个数设置所述空白数据表的字段个数，根据所述初始字段含义设置所述空白数据表中各字段的字段含义；
确定模块，用于获取目标源数据表，确定所述目标源数据表的业务类型及目标字段个数，根据所述目标字段个数及所述空白数据表的字段个数修改所述空白数据表需新增的字段数量，并构建所述目标源数据表的业务类型与空白数据表的字段含义的映射关系；
导入模块，用于根据所述映射关系将目标源数据表的数据导入修改字段数量后的所述空白数据表中。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的数据导入方法、装置、计算机设备和存储介质，通过获取同一业务类型的多个历史源数据表；统计各个历史源数据表的字段个数及字段含义，根据统计结果计算历史源数据表的平均字段个数，将平均字段个数作为初始字段个数，以及，对所有历史源数据表中各字段含义依据出现的次数进行排序，并选取出现次数排在前列的字段含义作为初始字段含义；创建待导入数据的空白数据表，根据初始字段个数设置空白数据表的字段个数，根据初始字段含义设置空白数据表中各字段的字段含义；获取目标源数据表，确定目标源数据表的业务类型及目标字段个数，根据目标字段个数及空白数据表的字段个数修改空白数据表的字段数量，并构建目标源数据表的业务类型与空白数据表的字段含义的映射关系；根据映射关系将目标源数据表的数据导入修改字段数量后的所述空白数据表中，从而利用历史源数据表的数据预先配置同一业务类型的空白数据表的字段个数及字段含义，使空白数据表的字段个数及字段含义能较大概率匹配目标源数据表的字段个数及字段含义，减少后续对空白数据表的字段数量修改或者变更字段含义的次数，提高数据同步的效率。
附图说明
图1为本申请一实施例的数据导入方法的流程示意图；
图2为本申请一实施例的数据导入装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供了一种数据导入方法，以解决目前的数据导入方法效率较低的问题。在一个实施例中，参照图1，该数据导入方法包括步骤：
S1、获取同一业务类型的多个历史源数据表；
S2、统计各个所述历史源数据表的字段个数及字段含义，根据统计结果计算所述历史源数据表的平均字段个数，将所述平均字段个数作为初始字段个数，以及，对所有所述历史源数据表中各字段含义依据出现的次数进行排序，并选取出现次数排在前列的字段含义作为初始字段含义；
S3、创建待导入数据的空白数据表，根据所述初始字段个数设置所述空白数据表的字段个数，根据所述初始字段含义设置所述空白数据表中各字段的字段含义；
S4、获取目标源数据表，确定所述目标源数据表的业务类型及目标字段个数，根据所述目标字段个数及所述空白数据表的字段个数修改所述空白数据表的字段数量，并构建所述目标源数据表的业务类型与空白数据表的字段含义的映射关系；
S5、根据所述映射关系将目标源数据表的数据导入修改字段数量后的所述空白数据表中。
在本实施例中，本申请可获取多个历史已完成数据导入的历史源数据表，并对所述多个历史源数据表分别进行数据转换、清洗和合并操作以得到被多个标准化的历史源数据表。例如，对多个历史源数据表的数据进行过滤，去除掉不关注或者不需要的数据(如，去除空值)，并将处理后的数据进一步转换为所需要的存储格式，将转换后的数据按照一定的规则进行合并(对重复数据进行合并)，作为后续分析处理、数据挖掘的基础。进一步地，还可对多个标准化的历史源数据表按照业务类型进行筛选，得到同一业务类型的历史源数据表。其中，所述字段为描述事物特征的表格，所述字段含义包括表格名及表格信息。所述业务类型可包括信托业务类型、贷款业务类型、取款业务类型、采购业务类型、销售业务类型、入库业务类型等等。
此外，本申请还预先统计历史源数据表导入空白数据表过程中，在空白数据表需要用到的初始字段个数及初始字段含义，根据初始字段个数及初始字段含义设置当前空白数据表的字段个数及字段含义，其中，所述初始字段个数及初始字段含义根据历史源数据表的统计结果进行确定，以使设置的当前空白数据表的字段个数及字段含义更符合目标源数据表的字段个数及字段含义。在确定初始字段含义时，可统计所有所述历史源数据表的字段含义的出现次数，依照字段含义的出现次数进行排序，并将出现次数排在前列的字段含义作为初始字段含义，如将出现次数排在前十的字段含义作为初始字段含义。
当目标源数据的数据需要导入空白数据表时，可在初始字段个数的基础上对空白数据表适当调整字段数量，如新增或删减字段数量，使空白数据表的字段个数与目标源数据的字段个数一致。具体的，当目标源数据的目标字段个数多于空白数据表的字段个数时，则对空白数据表新增字段数量；当目标源数据的目标字段个数少于空白数据表的字段个数时，则对空白数据表删减字段数量；若目标源数据的目标字段个数与空白数据表的字段个数相同时，则无需对空白数据表的字段数量进行调整。
当有新的数据需要导入空白数据表时，将新的数据分别导入空白数据表的新增字段上，并维护好新增字段在映射表中的关系，即可实现在无二次开发的基础上进行快速支持，并可以快速支持业务新增数据字段的需求。此外，由于根据业务类型确定空白数据表的字段个数及含义，因此不同产品的数据可以充分使用数据表字段，不会产生和产品数据不相关的字段。
可选地，所述映射关系包括主键字段映射关系、关联字段映射关系和普通字段映射关系中的任意一种或多种。
其中，为能够确定出当前目标源数据表相关内容与空白数据表相关内容的映射关系，可向用户展示同步映射配置的界面，从而可以根据用户在该界面上的点击触发，来确定表与表之间、字段与字段之间、主键值与主键值之间的映射关系。主键字段映射关系可用于其他映射项目关联主键，生成数据映射数据；关联字段映射关系，需注明关联的同步项ID，同步时，会根据目标源数据表的ID联查到目标源数据表中的同步项ID，最终存储到关联字段；普通字段映射，普通字段映射在同步数据时不进行任何数据加工，可直接进行同步。
可选地，如果目标源数据表在前端展示的表名和后端的表名不一致，在该对应关系中，还可以记录目标源数据表与空白数据表的这两个表名的对应关系，以使得在后续往后端数据库表中导入数据时，可以确定数据导入的空白数据表。
本申请的数据导入方法，通过获取同一业务类型的多个历史源数据表；统计各个历史源数据表的字段个数及字段含义，根据统计结果计算历史源数据表的平均字段个数，将平均字段个数作为初始字段个数，以及，对所有所述历史源数据表中各字段含义依据出现的次数进行排序，并选取出现次数排在前列的字段含义作为初始字段含义；创建待导入数据的空白数据表，根据初始字段个数设置空白数据表的字段个数，根据初始字段含义设置空白数据表中各字段的字段含义；获取目标源数据表，确定目标源数据表的业务类型及目标字段个数，根据目标字段个数及空白数据表的字段个数修改空白数据表的字段数量，并构建目标源数据表的业务类型与空白数据表的字段含义的映射关系；根据映射关系将目标源数据表的数据导入修改字段数量后的所述空白数据表中，从而利用历史源数据表的数据预先配置同一业务类型的空白数据表的字段个数及字段含义，使空白数据表的字段个数及字段含义能较大概率匹配目标源数据表的字段个数及字段含义，减少后续对空白数据表的字段数量修改或者变更字段含义的次数，提高数据同步的效率。
在一实施例中，在步骤S5中，所述根据所述映射关系将目标源数据表的数据导入修改字段数量后的所述空白数据表中的步骤，可具体包括：
根据预置的转换规则对所述目标源数据表的数据进行转换处理，将所述目标源数据表的数据转换成修改字段数量后的所述空白数据表的数据格式；
根据所述映射关系将目标源数据表的数据按照所述数据格式导入所述空白数据表中。
在本实施例中，数据转换是将数据从一种格式或结构转换为另一种格式或结构的过程。数据转换对于数据集成和数据管理等活动至关重要。数据转换可以包括一系列活动：可以转换数据类型，通过删除空值或重复数据来清理数据，丰富数据或执行聚合，具体取决于实际需要。本实施例可将需要导入的数据进行转换处理，转换成空白数据表可正常显示的数据格式。具体的，可获取待导入空白数据表的数据格式，将目标源数据表的数据转换成空白数据表的数据格式，以确保数据的正常显示，用户在使用时就无需因为出现无效的数据而进行额外的调整，方便用户的使用，降低了数据管理的成本。
其中，所述转换处理包括平滑处理、合计处理、数据泛化处理、规格化处理及属性构造处理。所述平滑处理用于帮助除去数据中的噪声，主要技术方法有Bin方法、聚类方法和回归方法。所述合计处理用于对数据进行总结或合计操作。例如，每天的数据经过合计操作可以获得每月或每年的总额。这一操作常用于构造数据立方或对数据进行多粒度的分析。所述数据泛化处理用更抽象(更高层次)的概念来取代低层次或数据层的数据对象。所述规格化处理用于将有关属性数据按比例投射到特定的小范围之中，以消除数值型属性因大小不一而造成挖掘结果的偏差。所述属性构造处理用于根据已有属性集构造新的属性，以帮助数据处理过程。
在一实施例中，所述将所述目标源数据表的数据转换成修改字段数量后的所述空白数据表的数据格式的步骤，可具体包括：
将所述目标源数据表中包括字符的字段转换成所述空白数据表的数据格式。
当进行字符转换时，可对只有在待转换字符的内码属于特定类别时，才进行转换，比如在将简体字转换为繁体字时，可以检测待转换字符的内码为简体字内码，属于汉字的内码类别，则可以进行转换，但是如果检测到待转换字符中存在内码为数字内码的字符时，则不对该字符进行转换，以减少转换数据的处理量，提高数据处理效率。转换时，可根据空白数据表的数据格式，从数据库中查询目标源数据表的字符对应的数据格式，按照该数据格式将目标源数据表的字符导入空白数据表中。
在一实施例中，在步骤S5中，所述根据所述映射关系将目标源数据表的数据导入修改字段数量后的所述空白数据表中的步骤之后，还包括：
接收用户输入的数据调整信息；
根据所述数据调整信息对已导入所述空白数据表的指定数据进行调整。
所述调整信息包括对空白数据表的数据进行新增、修改或删除等操作信息，新增时，读取数据结构映射信息，逐条进行数据处理，关联项读取关联同步项信息获取对应键值数据，生成业务数据库新增操作脚本，生成数据映射脚本，存储于堆栈中。修改时，根据主键读取数据映射信息，联查关联同步项信息获取对应键值数据，生成业务数据库修改操作脚本，生成更新数据映射最后修改时间脚本，存储于堆栈中。删除时，根据主键读取数据映射信息,生成删除业务数据脚本，生成更新数据映射最后时间脚本，生成备份最后同步前数据脚本，存储于堆栈中。
在一实施例中，所述根据统计结果计算所述历史源数据表的平均字段个数的步骤，可具体包括：
获取统计结果中历史源数据表的总数及所有历史源数据表的累计字段个数；
根据所述历史源数据表的总数及所有历史源数据表的累计字段个数计算所述平均字段个数。
本实施例中，可统计历史源数据表的总数，并计算历史源数据表中所有字段个数的数量，得到累计字段个数，将累计字段个数与历史源数据表的总数的比值作为所述平均字段个数，从而减少后续空白数据表中字段的新增或删减过程。例如，当历史源数据表有100个时，所有历史源数据表的字段个数总共1500时，则平均字段个数为15，将空白数据表的字段个数设置为15个。
在一实施例中，所述根据所述映射关系将目标源数据表的数据导入修改字段数量后的所述空白数据表中的步骤之后，还包括：
当监测到所述目标源数据表的数据被更新后，将更新后的所述目标源数据表的数据导入所述空白数据表的相应字段中。
本实施例对导入空白数据表的数据进行实时更新，具体的，对目标源数据表的数据进行监测，当监测到目标源数据表新增、修改或删除了数据时，获取新增、修改或删除的数据，根据同步映射关系对应新增、修改或删除空白数据表的数据，以确保数据的时效性。
参照图2，本申请实施例中还提供一种数据导入装置，包括：
获取模块1，用于获取同一业务类型的多个历史源数据表；
统计模块2，用于统计各个所述历史源数据表的字段个数及字段含义，根据统计结果计算所述历史源数据表的平均字段个数，将所述平均字段个数作为初始字段个数，以及，对所有所述历史源数据表中各字段含义依据出现的次数进行排序，并选取出现次数排在前列的字段含义作为初始字段含义；
创建模块3，用于创建待导入数据的空白数据表，根据所述初始字段个数设置所述空白数据表的字段个数，根据所述初始字段含义设置所述空白数据表中各字段的字段含义；
确定模块4，用于获取目标源数据表，确定所述目标源数据表的业务类型及目标字段个数，根据所述目标字段个数及所述空白数据表的字段个数修改所述空白数据表需新增的字段数量，并构建所述目标源数据表的业务类型与空白数据表的字段含义的映射关系；
导入模块5，用于根据所述映射关系将目标源数据表的数据导入修改字段数量后的所述空白数据表中。
在本实施例中，本申请可获取多个历史已完成数据导入的历史源数据表，并对所述多个历史源数据表分别进行数据转换、清洗和合并操作以得到被多个标准化的历史源数据表。例如，对多个历史源数据表的数据进行过滤，去除掉不关注或者不需要的数据(如，去除空值)，并将处理后的数据进一步转换为所需要的存储格式，将转换后的数据按照一定的规则进行合并(对重复数据进行合并)，作为后续分析处理、数据挖掘的基础。进一步地，还可对多个标准化的历史源数据表按照业务类型进行筛选，得到同一业务类型的历史源数据表。其中，所述字段为描述事物特征的表格，所述字段含义包括表格名及表格信息。所述业务类型可包括信托业务类型、贷款业务类型、取款业务类型、采购业务类型、销售业务类型、入库业务类型等等。
此外，本申请还预先统计历史源数据表导入空白数据表过程中，在空白数据表需要用到的初始字段个数及初始字段含义，根据初始字段个数及初始字段含义设置当前空白数据表的字段个数及字段含义，其中，所述初始字段个数及初始字段含义根据历史源数据表的统计结果进行确定，以使设置的当前空白数据表的字段个数及字段含义更符合目标源数据表的字段个数及字段含义。在确定初始字段含义时，可统计所有所述历史源数据表的字段含义的出现次数，依照字段含义的出现次数进行排序，并将出现次数排在前列的字段含义作为初始字段含义，如将出现次数排在前十的字段含义作为初始字段含义。当目标源数据的数据需要导入空白数据表时，可在初始字段个数的基础上对空白数据表适当调整字段数量，如新增或删减字段数量，使空白数据表的字段个数与目标源数据的字段个数一致。具体的，当目标源数据的目标字段个数多于空白数据表的字段个数时，则对空白数据表新增字段数量；当目标源数据的目标字段个数少于空白数据表的字段个数时，则对空白数据表删减字段数量；若目标源数据的目标字段个数与空白数据表的字段个数相同时，则无需对空白数据表的字段数量进行调整。
当有新的数据需要导入空白数据表时，将新的数据分别导入空白数据表的新增字段上，并维护好新增字段在映射表中的关系，即可实现在无二次开发的基础上进行快速支持，并可以快速支持业务新增数据字段的需求。此外，由于根据业务类型确定空白数据表的字段个数及含义，因此不同产品的数据可以充分使用数据表字段，不会产生和产品数据不相关的字段。
可选地，所述映射关系包括主键字段映射关系、关联字段映射关系和普通字段映射关系中的任意一种或多种。
其中，为能够确定出当前目标源数据表相关内容与空白数据表相关内容的映射关系，可向用户展示同步映射配置的界面，从而可以根据用户在该界面上的点击触发，来确定表与表之间、字段与字段之间、主键值与主键值之间的映射关系。主键字段映射关系可用于其他映射项目关联主键，生成数据映射数据；关联字段映射关系，需注明关联的同步项ID，同步时，会根据目标源数据表的ID联查到目标源数据表中的同步项ID，最终存储到关联字段；普通字段映射，普通字段映射在同步数据时不进行任何数据加工，可直接进行同步。
可选地，如果目标源数据表在前端展示的表名和后端的表名不一致，在该对应关系中，还可以记录目标源数据表与空白数据表的这两个表名的对应关系，以使得在后续往后端数据库表中导入数据时，可以确定数据导入的空白数据表。
如上所述，可以理解地，本申请中提出的所述数据导入装置的各组成部分可以实现如上所述数据导入方法任一项的功能，具体结构不再赘述。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于关系抽取模型、药物发现模型等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据导入方法。
上述处理器执行上述的数据导入方法，包括：
获取同一业务类型的多个历史源数据表；
统计各个所述历史源数据表的字段个数及字段含义，根据统计结果计算所述历史源数据表的平均字段个数，将所述平均字段个数作为初始字段个数，以及，对所有所述历史源数据表中各字段含义依据出现的次数进行排序，并选取出现次数排在前列的字段含义作为初始字段含义；创建待导入数据的空白数据表，根据所述初始字段个数设置所述空白数据表的字段个数，根据所述初始字段含义设置所述空白数据表中各字段的字段含义；
获取目标源数据表，确定所述目标源数据表的业务类型及目标字段个数，根据所述目标字段个数及所述空白数据表的字段个数修改所述空白数据表的字段数量，并构建所述目标源数据表的业务类型与空白数据表的字段含义的映射关系；
根据所述映射关系将目标源数据表的数据导入修改字段数量后的所述空白数据表中。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种数据导入方法，包括步骤：
获取同一业务类型的多个历史源数据表；
统计各个所述历史源数据表的字段个数及字段含义，根据统计结果计算所述历史源数据表的平均字段个数，将所述平均字段个数作为初始字段个数，以及，对所有所述历史源数据表中各字段含义依据出现的次数进行排序，并选取出现次数排在前列的字段含义作为初始字段含义；
创建待导入数据的空白数据表，根据所述初始字段个数设置所述空白数据表的字段个数，根据所述初始字段含义设置所述空白数据表中各字段的字段含义；
获取目标源数据表，确定所述目标源数据表的业务类型及目标字段个数，根据所述目标字段个数及所述空白数据表的字段个数修改所述空白数据表的字段数量，并构建所述目标源数据表的业务类型与空白数据表的字段含义的映射关系；
根据所述映射关系将目标源数据表的数据导入修改字段数量后的所述空白数据表中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本申请的最大有益效果在于：
本申请的数据导入方法、装置、计算机设备和存储介质，
通过获取同一业务类型的多个历史源数据表；统计各个历史源数据表的字段个数及字段含义，根据统计结果计算历史源数据表的平均字段个数，将平均字段个数作为初始字段个数，以及，对所有所述历史源数据表中各字段含义依据出现的次数进行排序，并选取出现次数排在前列的字段含义作为初始字段含义；创建待导入数据的空白数据表，根据初始字段个数设置空白数据表的字段个数，根据初始字段含义设置空白数据表中各字段的字段含义；获取目标源数据表，确定目标源数据表的业务类型及目标字段个数，根据目标字段个数及空白数据表的字段个数修改空白数据表的字段数量，并构建目标源数据表的业务类型与空白数据表的字段含义的映射关系；根据映射关系将目标源数据表的数据导入修改字段数量后的所述空白数据表中，从而利用历史源数据表的数据预先配置同一业务类型的空白数据表的字段个数及字段含义，使空白数据表的字段个数及字段含义能较大概率匹配目标源数据表的字段个数及字段含义，减少后续对空白数据表的字段数量修改或者变更字段含义的次数，提高数据同步的效率。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种数据导入方法，其特征在于，包括：
获取同一业务类型的多个历史源数据表；
统计各个所述历史源数据表的字段个数及字段含义，根据统计结果计算所述历史源数据表的平均字段个数，将所述平均字段个数作为初始字段个数，以及，对所有所述历史源数据表中各字段含义依据出现的次数进行排序，并选取出现次数排在前列的字段含义作为初始字段含义；
创建待导入数据的空白数据表，根据所述初始字段个数设置所述空白数据表的字段个数，根据所述初始字段含义设置所述空白数据表中各字段的字段含义；
获取目标源数据表，确定所述目标源数据表的业务类型及目标字段个数，根据所述目标字段个数及所述空白数据表的字段个数修改所述空白数据表的字段数量，并构建所述目标源数据表的业务类型与空白数据表的字段含义的映射关系；
根据所述映射关系将目标源数据表的数据导入修改字段数量后的所述空白数据表中。
2.根据权利要求1所述的方法，其特征在于，所述根据所述映射关系将目标源数据表的数据导入修改字段数量后的所述空白数据表中的步骤，包括：
根据预置的转换规则对所述目标源数据表的数据进行转换处理，将所述目标源数据表的数据转换成修改字段数量后的所述空白数据表的数据格式；
根据所述映射关系将目标源数据表的数据按照所述数据格式导入所述空白数据表中。
3.根据权利要求2所述的方法，其特征在于，所述将所述目标源数据表的数据转换成修改字段数量后的所述空白数据表的数据格式的步骤，包括：
将所述目标源数据表中包括字符的字段转换成所述空白数据表的数据格式。
4.根据权利要求1所述的方法，其特征在于，所述根据所述映射关系将目标源数据表的数据导入修改字段数量后的所述空白数据表中的步骤之后，还包括：
接收用户输入的数据调整信息；
根据所述数据调整信息对已导入所述空白数据表的指定数据进行调整。
5.根据权利要求1所述的方法，其特征在于，所述根据统计结果计算所述历史源数据表的平均字段个数的步骤，包括：
获取统计结果中历史源数据表的总数及所有历史源数据表的累计字段个数；
根据所述历史源数据表的总数及所有历史源数据表的累计字段个数计算所述平均字段个数。
6.根据权利要求1所述的方法，其特征在于，所述根据所述映射关系将目标源数据表的数据导入修改字段数量后的所述空白数据表中的步骤之后，还包括：
当监测到所述目标源数据表的数据被更新后，将更新后的所述目标源数据表的数据导入所述空白数据表的相应字段中。
7.根据权利要求1所述的方法，其特征在于，所述映射关系包括主键字段映射关系、关联字段映射关系和普通字段映射关系中的任意一种或多种。
8.一种数据导入装置，其特征在于，包括：
获取模块，用于获取同一业务类型的多个历史源数据表；
统计模块，用于统计各个所述历史源数据表的字段个数及字段含义，根据统计结果计算所述历史源数据表的平均字段个数，将所述平均字段个数作为初始字段个数，以及，对所有所述历史源数据表中各字段含义依据出现的次数进行排序，并选取出现次数排在前列的字段含义作为初始字段含义；
创建模块，用于创建待导入数据的空白数据表，根据所述初始字段个数设置所述空白数据表的字段个数，根据所述初始字段含义设置所述空白数据表中各字段的字段含义；
确定模块，用于获取目标源数据表，确定所述目标源数据表的业务类型及目标字段个数，根据所述目标字段个数及所述空白数据表的字段个数修改所述空白数据表需新增的字段数量，并构建所述目标源数据表的业务类型与空白数据表的字段含义的映射关系；
导入模块，用于根据所述映射关系将目标源数据表的数据导入修改字段数量后的所述空白数据表中。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述数据导入方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述数据导入方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011611980.0A CN112685415A (zh) | 2020-12-30 | 2020-12-30 | 数据导入方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011611980.0A CN112685415A (zh) | 2020-12-30 | 2020-12-30 | 数据导入方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112685415A true CN112685415A (zh) | 2021-04-20 |
Family
ID=75455365
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011611980.0A Pending CN112685415A (zh) | 2020-12-30 | 2020-12-30 | 数据导入方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112685415A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113672625A (zh) * | 2021-08-26 | 2021-11-19 | 北京京东振世信息技术有限公司 | 用于数据表的处理方法、装置、设备及存储介质 |
| CN114936199A (zh) * | 2022-07-21 | 2022-08-23 | 平安银行股份有限公司 | 系统重构的数据处理方法、计算机设备及存储介质 |
| CN116401303A (zh) * | 2023-04-12 | 2023-07-07 | 岱特智能科技（上海）有限公司 | 用于肾病治疗的医院多数据库数据管理方法及相关装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080320012A1 (en) * | 2007-06-21 | 2008-12-25 | International Business Machines Corporation | Dynamic data discovery of a source data schema and mapping to a target data schema |
| CN109271411A (zh) * | 2018-09-28 | 2019-01-25 | 中国平安财产保险股份有限公司 | 报表生成方法、装置、计算机设备及存储介质 |
| CN109388675A (zh) * | 2018-10-12 | 2019-02-26 | 平安科技（深圳）有限公司 | 数据分析方法、装置、计算机设备及存储介质 |
| CN110781203A (zh) * | 2019-09-09 | 2020-02-11 | 国网电子商务有限公司 | 一种数据宽表的确定方法及装置 |
| CN111046035A (zh) * | 2019-10-29 | 2020-04-21 | 三盟科技股份有限公司 | 数据自动化处理方法、系统、计算机设备及可读存储介质 |
| CN111708779A (zh) * | 2020-06-11 | 2020-09-25 | 中国建设银行股份有限公司 | 一种数据管理方法、系统、管理设备及存储介质 |
-
2020
- 2020-12-30 CN CN202011611980.0A patent/CN112685415A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080320012A1 (en) * | 2007-06-21 | 2008-12-25 | International Business Machines Corporation | Dynamic data discovery of a source data schema and mapping to a target data schema |
| CN109271411A (zh) * | 2018-09-28 | 2019-01-25 | 中国平安财产保险股份有限公司 | 报表生成方法、装置、计算机设备及存储介质 |
| CN109388675A (zh) * | 2018-10-12 | 2019-02-26 | 平安科技（深圳）有限公司 | 数据分析方法、装置、计算机设备及存储介质 |
| CN110781203A (zh) * | 2019-09-09 | 2020-02-11 | 国网电子商务有限公司 | 一种数据宽表的确定方法及装置 |
| CN111046035A (zh) * | 2019-10-29 | 2020-04-21 | 三盟科技股份有限公司 | 数据自动化处理方法、系统、计算机设备及可读存储介质 |
| CN111708779A (zh) * | 2020-06-11 | 2020-09-25 | 中国建设银行股份有限公司 | 一种数据管理方法、系统、管理设备及存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113672625A (zh) * | 2021-08-26 | 2021-11-19 | 北京京东振世信息技术有限公司 | 用于数据表的处理方法、装置、设备及存储介质 |
| CN113672625B (zh) * | 2021-08-26 | 2024-05-17 | 北京京东振世信息技术有限公司 | 用于数据表的处理方法、装置、设备及存储介质 |
| CN114936199A (zh) * | 2022-07-21 | 2022-08-23 | 平安银行股份有限公司 | 系统重构的数据处理方法、计算机设备及存储介质 |
| CN116401303A (zh) * | 2023-04-12 | 2023-07-07 | 岱特智能科技（上海）有限公司 | 用于肾病治疗的医院多数据库数据管理方法及相关装置 |
| CN116401303B (zh) * | 2023-04-12 | 2023-11-10 | 岱特智能科技（上海）有限公司 | 用于肾病治疗的医院多数据库数据管理方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112685415A (zh) | 数据导入方法、装置、计算机设备和存储介质 | |
| CN109344183B (zh) | 数据交互方法、装置、计算机设备和存储介质 | |
| CN108694657B (zh) | 客户识别装置、方法及计算机可读存储介质 | |
| JP4580518B2 (ja) | データベース設計システム | |
| CN112380213B (zh) | 信息采集方法、装置、计算机设备和存储介质 | |
| CN112882699B (zh) | 基于流程配置引擎的业务处理方法、装置、设备及介质 | |
| US20050256912A1 (en) | Method and system for versioned sharing, consolidating and reporting information | |
| CN112286934A (zh) | 数据库表导入方法、装置、设备及介质 | |
| CN112732763A (zh) | 数据的聚合方法、装置、电子设备及介质 | |
| CN111191123A (zh) | 业务信息推送方法、装置、可读存储介质和计算机设备 | |
| CN112069223B (zh) | 数据获取需求处理方法、装置、计算机设备和存储介质 | |
| CN110337648B (zh) | 用于高效地分发提醒消息的系统和方法 | |
| CN116303516A (zh) | 一种更新知识图谱的方法、装置及相关设备 | |
| CN112364228B (zh) | 一种基于物理位置的企业大数据系统的构建方法、系统、应用方法、终端设备及存储介质 | |
| CN113407287A (zh) | 可视化页面的快速生成方法、装置、设备及存储介质 | |
| CN113868138A (zh) | 测试数据的获取方法、系统、设备及存储介质 | |
| CN112164433A (zh) | 一种医院后台数据的处理方法及系统 | |
| CN110704421A (zh) | 数据处理方法、装置、设备和计算机可读存储介质 | |
| CN113254520B (zh) | 一种处理征信数据漏报并自动生成补充报文的方法 | |
| US20230230115A1 (en) | Method and system for extracting contextual product feature model from requirements specification documents | |
| US11328501B2 (en) | Computer-readable recording medium recording specifying program, information processing apparatus, and specifying method | |
| CN114611929A (zh) | 配置业务流程的方法、装置、设备及存储介质 | |
| CN114998040A (zh) | 金融数据更新方法、装置、设备及介质 | |
| CN111782650A (zh) | 动态数据入库方法、装置、电子设备及存储介质 | |
| CN114090660A (zh) | 保险产品投保数据的配置方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |