CN111984624A - 一种通过矫正迁移模型进行数据迁移的方法及系统 - Google Patents
一种通过矫正迁移模型进行数据迁移的方法及系统 Download PDFInfo
- Publication number
- CN111984624A CN111984624A CN202010842358.4A CN202010842358A CN111984624A CN 111984624 A CN111984624 A CN 111984624A CN 202010842358 A CN202010842358 A CN 202010842358A CN 111984624 A CN111984624 A CN 111984624A
- Authority
- CN
- China
- Prior art keywords
- data
- migration
- migration model
- model
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013508 migration Methods 0.000 title claims abstract description 343
- 230000005012 migration Effects 0.000 title claims abstract description 343
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012937 correction Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 72
- 238000013507 mapping Methods 0.000 claims abstract description 39
- 230000000903 blocking effect Effects 0.000 claims abstract description 33
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 238000012216 screening Methods 0.000 claims abstract description 7
- 230000008676 import Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 19
- 230000000246 remedial effect Effects 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000013499 data model Methods 0.000 description 2
- 238000013501 data transformation Methods 0.000 description 2
- 238000005067 remediation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出了一种通过矫正迁移模型进行数据迁移的方法及系统，该方法包括：导入迁移前的源数据；对源数据进行分块处理，得到分块处理后的数据；进行迁移模型预演，得到迁移模型预演数据；将相同的数据导入迁移模型，输出迁移模型输出数据；根据迁移模型预演数据及迁移模型输出数据，采用预设的比对计算模型计算得到比对结果；在比对结果中筛选出需要矫正的逻辑映射关系，其中，将比对结果大于或等于阈值的逻辑映射关系为正确，对比对结果小于阈值的逻辑映射关系进行矫正；利用矫正后的迁移模型重新导入数据，得到迁移模型输出数据并重新进行比对，直至比对结果大于或等于阈值；将逻辑关系全部正确的迁移模型及对应的迁移模型输出数据进行输出。
Description
技术领域
本发明涉及大数据处理技术领域，尤指一种通过矫正迁移模型进行数据迁移的方法及系统。
背景技术
当前各大行业都存储有海量数据，在数据处理中，有的需要进行数据迁移操作，且在迁移的过程中需要根据特定需求进行数据转换，为了提高转换效率，都是通过软件代码实现，该软件代码称之为迁移模型，但是在实际过程中，如果未对迁移模型进行细致校验，则可能引起海量数据转换错误，偏离分析预期；如果迁移后数据作为进一步数据处理的基础数据，那么迁移模型实现的准确性会显得尤为重要。
在现有技术中，有提出关于系统之间、数据库之间的数据迁移的操作，但是，这些技术都是基于硬件方面的考虑，并未考虑逻辑映射数据变换的对数据迁移的影响，使得数据迁移的准确性和效率有待提升。
因此，亟需一种可以从逻辑映射数据变换的模型实现的数据迁移来提升数据迁移的准确性和效率的技术方案。
发明内容
为实现上述目的，本发明提出了一种通过矫正迁移模型进行数据迁移的方法及系统，该方案可验证迁移模型实现的准确性，通过矫正提高数据迁移模型实现的准确度，并且还通过手工迁移与自动化比对相结合，将逻辑映射模块化，提升数据模型比对效率以及数据之间逻辑映射关系的数据迁移效率。
在本发明实施例的第一方面，提出了一种通过矫正迁移模型进行数据迁移的方法，该方法包括：
导入迁移前的源数据；
对所述源数据进行分块处理，得到分块处理后的数据；
根据所述分块处理后的数据，进行迁移模型预演，得到迁移模型预演数据；
将相同的分块处理后的数据导入迁移模型，输出迁移模型输出数据；
根据所述迁移模型预演数据及迁移模型输出数据，采用预设的比对计算模型计算得到比对结果；
根据设置的阈值，在比对结果中筛选出需要矫正的逻辑映射关系，其中，将所述比对结果大于或等于所述阈值的逻辑映射关系为正确，对所述比对结果小于阈值的逻辑映射关系进行矫正；
利用矫正后的迁移模型重新导入数据，得到迁移模型输出数据并重新进行比对，直至比对结果大于或等于所述阈值；
将逻辑关系全部正确的迁移模型及对应的迁移模型输出数据进行输出。
在本发明实施例的第二方面，提出了一种通过矫正迁移模型进行数据迁移的系统，该系统包括：
源数据导入模块，导入迁移前的源数据；
迁移模型实现矫正模块包括：分块处理单元、迁移模型预演单元、数据导入单元、比对单元及迁移模型矫正单元；其中，
分块处理单元，用于对所述源数据进行分块处理，得到分块处理后的数据；
迁移模型预演单元，用于根据所述分块处理后的数据，进行迁移模型预演，得到迁移模型预演数据；
数据导入单元，用于将相同的分块处理后的数据导入迁移模型，输出迁移模型输出数据；
比对单元，根据所述迁移模型预演数据及迁移模型输出数据，采用预设的比对计算模型计算得到比对结果；
迁移模型矫正单元，根据设置的阈值，在比对结果中筛选出需要矫正的逻辑映射关系，其中，将所述比对结果大于或等于所述阈值的逻辑映射关系为正确，对所述比对结果小于阈值的逻辑映射关系进行矫正；
在迁移模型矫正后，调用所述数据导入单元及比对单元，利用矫正后的迁移模型重新导入数据，得到迁移模型输出数据并重新进行比对，直至比对结果大于或等于所述阈值；
数据输出模块，用于将逻辑关系全部正确的迁移模型及对应的迁移模型输出数据进行输出。
在本发明实施例的第三方面，提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现通过矫正迁移模型进行数据迁移的方法。
在本发明实施例的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现通过矫正迁移模型进行数据迁移的方法。
本发明提出的通过矫正迁移模型进行数据迁移的方法及系统能够提高迁移模型实现的准确性，在输出初次矫正后的迁移模型实现后，罗通过提高源数据量，来进行大量数据比对，提高阈值，从而输出最接近迁移模型设计的输出，输出最佳的迁移模型设计实现；本发明利用分块处理将已确定无问题的逻辑运算单元筛选过滤，直接用处理后的数据作为源数据处理，可提高后续迁移模型实现矫正的效率；并且分块处理还可以初次使用的时候，按照迁移模型的复杂度，分层分步骤实现迁移模型实现的矫正，将整个迁移模型实现的复杂度降低。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明一实施例的通过矫正迁移模型进行数据迁移的方法流程示意图。
图2是本发明另一实施例的通过矫正迁移模型进行数据迁移的方法流程示意图。
图3是本发明一具体实施例的数据关系示意图。
图4是本发明一实施例的通过矫正迁移模型进行数据迁移的系统架构示意图。
图5是本发明一具体实施例中的通过矫正迁移模型进行数据迁移的系统架构示意图。
图6是本发明一实施例的计算机设备结构示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种通过矫正迁移模型进行数据迁移的方法及系统。该方法及系统可验证迁移模型实现的准确性，通过矫正提高数据迁移模型实现的准确度，并且还通过手工迁移与自动化比对相结合，将逻辑映射模块化，提升数据模型比对效率以及数据之间逻辑映射关系的数据迁移效率。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
图1是本发明一实施例的通过矫正迁移模型进行数据迁移的方法流程示意图。如图1所示，该方法包括：
步骤S101，导入迁移前的源数据；
步骤S102，对所述源数据进行分块处理，得到分块处理后的数据；这一步是迁移模型实现矫正的预处理步骤，可以提高整个比对、矫正及数据迁移的处理效率。
步骤S103，根据所述分块处理后的数据，进行迁移模型预演，得到迁移模型预演数据；
步骤S104，将相同的分块处理后的数据导入迁移模型，输出迁移模型输出数据；
步骤S105，根据所述迁移模型预演数据及迁移模型输出数据，采用预设的比对计算模型计算得到比对结果；
步骤S106，根据设置的阈值，在比对结果中筛选出需要矫正的逻辑映射关系，其中，将所述比对结果大于或等于所述阈值的逻辑映射关系为正确，对所述比对结果小于阈值的逻辑映射关系进行矫正；
步骤S107，利用矫正后的迁移模型重新导入数据，得到迁移模型输出数据并重新进行比对，直至比对结果大于或等于所述阈值。本步骤是对迁移模型的进一步矫正，以保证全部运算关系都是正确的。
步骤S108，将逻辑关系全部正确的迁移模型及对应的迁移模型输出数据进行输出。
进一步的，步骤S101导入迁移前的源数据的具体过程为：
在首次导入或模型数据量小于预设数据量阈值时，采用随机采集的方式导入源数据，这样有利于模型输出；
在数据量大于或等于预设数据量阈值时，采用批量导入的方式导入源数据，实现数据全量输入。
在另一实施例中，由于源数据可能存在多组，那么这些源数据之间可能存在一定的关联；以A、B两组数据为例，如果这两组数据存在前后的因果逻辑关系(如，时间顺序上的逻辑关系)，则可以认为A经过迁移后的迁移模型输出数据与B相关联；在对B进行数据迁移时，可以直接利用该A的输出数据作为输入数据，对B的迁移模型进行矫正，实现对B的数据迁移。如果A、B不相关，则A、B各自进行数据迁移。
在实际操作情况中，如果A、B存在关联，且A已有迁移模型实现输出，则在本次处理时，可以通过阈值设置或者人工强制将源数据剔除，使用已输出的该迁移模型对应的输出数据作为输入数据。
具体过程可以参考图2，为本发明另一实施例的通过矫正迁移模型进行数据迁移的方法流程示意图。如图2所示，在步骤S102进行分块处理后，还包括：
步骤S113，判断是否有与本次迁移前的源数据相关联的迁移模型输出数据；
如果没有，则继续执行步骤S103。
如果有，则执行步骤S114，对所述源数据进行剔除；具体的，可以通过阈值设置或者人工强制将源数据剔除经过剔除处理可以提高后续模型处理的精确度，如果未剔除源数据，会影响后续模型处理的精确度，从而影响整个迁移模型的处理过程。
步骤S115，将所述相关联的迁移模型输出数据作为输入数据，进行迁移模型预演并将所述输入数据导入迁移模型，得到迁移模型预演数据及迁移模型输出数据并进行比对，根据比对结果矫正迁移模型的逻辑映射关系，得到逻辑关系全部正确的迁移模型。
具体的过程为：
步骤S115-1，根据所述输入数据，进行迁移模型预演，得到迁移模型预演数据；
步骤S115-2，将相同的输入数据导入迁移模型，输出迁移模型输出数据；
步骤S115-3，根据所述迁移模型预演数据及迁移模型输出数据，采用预设的比对计算模型计算得到比对结果；
步骤S115-4，根据设置的阈值，在比对结果中筛选出需要矫正的逻辑映射关系，其中，将所述比对结果大于或等于所述阈值的逻辑映射关系为正确，对所述比对结果小于阈值的逻辑映射关系进行矫正；
步骤S115-5，利用矫正后的迁移模型重新导入数据，得到迁移模型输出数据并重新进行比对，直至比对结果大于或等于所述阈值。
步骤S116，利用所述逻辑关系全部正确的迁移模型对所述分块处理后的数据进行数据迁移，(进一步执行步骤S108)输出所述逻辑关系全部正确的迁移模型及对应的迁移模型输出数据。
进一步的，步骤S105(及步骤S115-3)进行比对的详细过程为：
根据所述迁移模型预演数据及迁移模型输出数据，将所述迁移模型的每一步映射关系进行分解，得到不可分割的运算关系；
将所述不可分割的运算关系作为比对单元，采用预设的比对计算模型比对全部比对单元，得到每一个比对单元的比对结果。
比对结果的计算可以根据实际数据选择最适合的计算模型，如绝对比较、加权比较、相对比较，在整个的比对处理过程中，将迁移模型的每一步映射关系进行分解，以最小的不可分割的运算关系作为一个基础的比对单元，处理结束后，记录每一个比对单元的比对结果。
在自动化比对的过程中，可以设定迁移模型实现的精度，这个由比对计算模型和比对阈值两部分共同控制，由使用工作人员根据实际的迁移模型确定。
进一步的，该方法还包括：
在得到逻辑关系全部正确的迁移模型之后，进行数据去重处理，得到本次迁移模型；进而，利用本次迁移模型对所述分块处理后的数据进行数据迁移，输出本次迁移模型及对应的迁移模型输出数据。
为了对上述通过矫正迁移模型进行数据迁移的方法进行更为清楚的解释，下面结合一个具体的实施例来进行说明，然而值得注意的是该实施例仅是为了更好地说明本发明，并不构成对本发明不当的限定。
参考图3，为本发明一具体实施例的数据关系示意图。如图3所示，通过矫正迁移模型进行数据迁移的方法的具体流程为：
步骤S301，导入迁移前的源数据，该数据的两种采集方式为随机采集或批量导入。
步骤S302，进行分块处理，得到分块处理后的数据，如果不进行分块处理，则直接使用源数据进行后续操作。
步骤S303，迁移模型预演数据是通过其其它快速计算工具得到的数据，该部分的源数据必须与(步骤S304)输入到迁移模型实现的源数据保持一致。迁移模型预演数据通过批量接口导入迁移模型实现矫正的自动化比对处理步骤(步骤S305)。
步骤S304，迁移模型实现输出数据的源数据来自于步骤S302，且与步骤S303输入的源数据保持一致，输出后直接流转到自动化比对处理步骤(步骤S305)。
步骤S305，根据系统预设的比对计算模型，将步骤S303、步骤S304的数据进行自动化比对处理，得到基本单元比对结果。
步骤S306，根据比对结果，将其与基本单元比对阈值进行比较；其中，根据基本单元的逻辑运算特别设置相应的阈值，该些阈值可一次性导入，也可手工逐一输入。
步骤S307，输出数据是根据S306中的阈值判断结果，筛选出符合阈值要求的待输出数据；在输出前，需要先将待输出数据进行存储，判定(一定时间内)再无新增的待输出数据后，将这些数据进行一次去重操作，最后输出迁移后数据。该部分数据是经过迁移模型处理输出的数据。
需要说明的是，尽管在上述实施例及附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
在介绍了本发明示例性实施方式的方法之后，接下来，参考图4至图5对本发明示例性实施方式的通过矫正迁移模型进行数据迁移的系统进行介绍。
通过矫正迁移模型进行数据迁移的系统的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的术语“模块”或者“单元”，可以是实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
基于同一发明构思，本发明还提出了一种通过矫正迁移模型进行数据迁移的系统，如图4所示，该系统包括：
源数据导入模块410，导入迁移前的源数据；
迁移模型实现矫正模块420包括：分块处理单元421、迁移模型预演单元422、数据导入单元423、比对单元424及迁移模型矫正单元425；其中，
分块处理单元421，用于对所述源数据进行分块处理，得到分块处理后的数据；
迁移模型预演单元422，用于根据所述分块处理后的数据，进行迁移模型预演，得到迁移模型预演数据；
数据导入单元423，用于将相同的分块处理后的数据导入迁移模型，输出迁移模型输出数据；
比对单元424，根据所述迁移模型预演数据及迁移模型输出数据，采用预设的比对计算模型计算得到比对结果；
迁移模型矫正单元425，根据设置的阈值，在比对结果中筛选出需要矫正的逻辑映射关系，其中，将所述比对结果大于或等于所述阈值的逻辑映射关系为正确，对所述比对结果小于阈值的逻辑映射关系进行矫正；
在迁移模型矫正后，调用所述数据导入单元423及比对单元424，利用矫正后的迁移模型重新导入数据，得到迁移模型输出数据并重新进行比对，直至比对结果大于或等于所述阈值；
数据输出模块430，用于将逻辑关系全部正确的迁移模型及对应的迁移模型输出数据进行输出。
在一实施例中，源数据导入模块410具体用于：
在首次导入或模型数据量小于预设数据量阈值时，采用随机采集的方式导入源数据；
在数据量大于或等于预设数据量阈值时，采用批量导入的方式导入源数据。
在一具体实施例中，参考图5，为本发明一具体实施例中的通过矫正迁移模型进行数据迁移的系统架构示意图。如图5所示，迁移模型实现矫正模块420还包括：
数据判断单元426，用于判断是否有与本次迁移前的源数据相关联的迁移模型输出数据；
数据剔除单元427，用于在有与本次迁移前的源数据相关联的迁移模型输出数据的情况下，对所述源数据进行剔除；
在剔除后，调用所述迁移模型预演单元422、数据导入单元423、比对单元424及迁移模型矫正单元425，将所述相关联的迁移模型输出数据作为输入数据，进行迁移模型预演并将所述输入数据导入迁移模型，得到迁移模型预演数据及迁移模型输出数据并进行比对，根据比对结果矫正迁移模型的逻辑映射关系，得到逻辑关系全部正确的迁移模型；
所述数据导入单元423，还用于利用所述逻辑关系全部正确的迁移模型对所述分块处理后的数据进行数据迁移，由所述数据输出模块430输出所述逻辑关系全部正确的迁移模型及对应的迁移模型输出数据。
在一实施例中，所述比对单元424具体用于：
根据所述迁移模型预演数据及迁移模型输出数据，将所述迁移模型的每一步映射关系进行分解，得到不可分割的运算关系；
将所述不可分割的运算关系作为比对单元，采用预设的比对计算模型比对全部比对单元，得到每一个比对单元的比对结果。
进一步的，参考图5，迁移模型实现矫正模块420还包括：
数据去重处理单元428，用于在得到逻辑关系全部正确的迁移模型之后，进行数据去重处理，得到本次迁移模型；
所述数据导入单元423，还用于利用本次迁移模型对所述分块处理后的数据进行数据迁移，由所述数据输出模块430输出本次迁移模型及对应的迁移模型输出数据。
应当注意，尽管在上文详细描述中提及了通过矫正迁移模型进行数据迁移的系统的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
基于前述发明构思，如图6所示，本发明还提出了一种计算机设备600，包括存储器610、处理器620及存储在存储器610上并可在处理器620上运行的计算机程序630，所述处理器620执行所述计算机程序630时实现前述通过矫正迁移模型进行数据迁移的方法。
基于前述发明构思，本发明提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前述通过矫正迁移模型进行数据迁移的方法。
本发明提出的通过矫正迁移模型进行数据迁移的方法及系统能够提高迁移模型实现的准确性，在输出初次矫正后的迁移模型实现后，罗通过提高源数据量，来进行大量数据比对，提高阈值，从而输出最接近迁移模型设计的输出，输出最佳的迁移模型设计实现；本发明利用分块处理将已确定无问题的逻辑运算单元筛选过滤，直接用处理后的数据作为源数据处理，可提高后续迁移模型实现矫正的效率；并且分块处理还可以初次使用的时候，按照迁移模型的复杂度，分层分步骤实现迁移模型实现的矫正，将整个迁移模型实现的复杂度降低。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (12)
1.一种通过矫正迁移模型进行数据迁移的方法，其特征在于，该方法包括：
导入迁移前的源数据；
对所述源数据进行分块处理，得到分块处理后的数据；
根据所述分块处理后的数据，进行迁移模型预演，得到迁移模型预演数据；
将相同的分块处理后的数据导入迁移模型，输出迁移模型输出数据；
根据所述迁移模型预演数据及迁移模型输出数据，采用预设的比对计算模型计算得到比对结果；
根据设置的阈值，在比对结果中筛选出需要矫正的逻辑映射关系，其中，将所述比对结果大于或等于所述阈值的逻辑映射关系为正确，对所述比对结果小于阈值的逻辑映射关系进行矫正；
利用矫正后的迁移模型重新导入数据，得到迁移模型输出数据并重新进行比对，直至比对结果大于或等于所述阈值；
将逻辑关系全部正确的迁移模型及对应的迁移模型输出数据进行输出。
2.根据权利要求1所述的通过矫正迁移模型进行数据迁移的方法，其特征在于，导入迁移前的源数据，包括：
在首次导入或模型数据量小于预设数据量阈值时，采用随机采集的方式导入源数据；
在数据量大于或等于预设数据量阈值时，采用批量导入的方式导入源数据。
3.根据权利要求1所述的通过矫正迁移模型进行数据迁移的方法，其特征在于，在对所述源数据进行分块处理，得到分块处理后的数据之后，还包括：
判断是否有与本次迁移前的源数据相关联的迁移模型输出数据；
如果有，对所述源数据进行剔除；
将所述相关联的迁移模型输出数据作为输入数据，进行迁移模型预演并将所述输入数据导入迁移模型，得到迁移模型预演数据及迁移模型输出数据并进行比对，根据比对结果矫正迁移模型的逻辑映射关系，得到逻辑关系全部正确的迁移模型；
利用所述逻辑关系全部正确的迁移模型对所述分块处理后的数据进行数据迁移，输出所述逻辑关系全部正确的迁移模型及对应的迁移模型输出数据。
4.根据权利要求1所述的通过矫正迁移模型进行数据迁移的方法，其特征在于，根据所述迁移模型预演数据及迁移模型输出数据，采用预设的比对计算模型计算得到比对结果，包括：
根据所述迁移模型预演数据及迁移模型输出数据，将所述迁移模型的每一步映射关系进行分解，得到不可分割的运算关系；
将所述不可分割的运算关系作为比对单元，采用预设的比对计算模型比对全部比对单元，得到每一个比对单元的比对结果。
5.根据权利要求1或3所述的通过矫正迁移模型进行数据迁移的方法，其特征在于，该方法还包括：
在得到逻辑关系全部正确的迁移模型之后，进行数据去重处理，得到本次迁移模型；
利用本次迁移模型对所述分块处理后的数据进行数据迁移，输出本次迁移模型及对应的迁移模型输出数据。
6.一种通过矫正迁移模型进行数据迁移的系统，其特征在于，该系统包括：
源数据导入模块，导入迁移前的源数据；
迁移模型实现矫正模块包括：分块处理单元、迁移模型预演单元、数据导入单元、比对单元及迁移模型矫正单元；其中，
分块处理单元，用于对所述源数据进行分块处理，得到分块处理后的数据；
迁移模型预演单元，用于根据所述分块处理后的数据，进行迁移模型预演，得到迁移模型预演数据；
数据导入单元，用于将相同的分块处理后的数据导入迁移模型，输出迁移模型输出数据；
比对单元，根据所述迁移模型预演数据及迁移模型输出数据，采用预设的比对计算模型计算得到比对结果；
迁移模型矫正单元，根据设置的阈值，在比对结果中筛选出需要矫正的逻辑映射关系，其中，将所述比对结果大于或等于所述阈值的逻辑映射关系为正确，对所述比对结果小于阈值的逻辑映射关系进行矫正；
在迁移模型矫正后，调用所述数据导入单元及比对单元，利用矫正后的迁移模型重新导入数据，得到迁移模型输出数据并重新进行比对，直至比对结果大于或等于所述阈值；
数据输出模块，用于将逻辑关系全部正确的迁移模型及对应的迁移模型输出数据进行输出。
7.根据权利要求6所述的通过矫正迁移模型进行数据迁移的系统，其特征在于，源数据导入模块具体用于：
在首次导入或模型数据量小于预设数据量阈值时，采用随机采集的方式导入源数据；
在数据量大于或等于预设数据量阈值时，采用批量导入的方式导入源数据。
8.根据权利要求6所述的通过矫正迁移模型进行数据迁移的系统，其特征在于，所述迁移模型实现矫正模块还包括：
数据判断单元，用于判断是否有与本次迁移前的源数据相关联的迁移模型输出数据；
数据剔除单元，用于在有与本次迁移前的源数据相关联的迁移模型输出数据的情况下，对所述源数据进行剔除；
在剔除后，调用所述迁移模型预演单元、数据导入单元、比对单元及迁移模型矫正单元，将所述相关联的迁移模型输出数据作为输入数据，进行迁移模型预演并将所述输入数据导入迁移模型，得到迁移模型预演数据及迁移模型输出数据并进行比对，根据比对结果矫正迁移模型的逻辑映射关系，得到逻辑关系全部正确的迁移模型；
所述数据导入单元，还用于利用所述逻辑关系全部正确的迁移模型对所述分块处理后的数据进行数据迁移，由所述数据输出模块输出所述逻辑关系全部正确的迁移模型及对应的迁移模型输出数据。
9.根据权利要求6所述的通过矫正迁移模型进行数据迁移的系统，其特征在于，所述比对单元具体用于：
根据所述迁移模型预演数据及迁移模型输出数据，将所述迁移模型的每一步映射关系进行分解，得到不可分割的运算关系；
将所述不可分割的运算关系作为比对单元，采用预设的比对计算模型比对全部比对单元，得到每一个比对单元的比对结果。
10.根据权利要求6或8所述的通过矫正迁移模型进行数据迁移的系统，其特征在于，所述迁移模型实现矫正模块还包括：
数据去重处理单元，用于在得到逻辑关系全部正确的迁移模型之后，进行数据去重处理，得到本次迁移模型；
所述数据导入单元，还用于利用本次迁移模型对所述分块处理后的数据进行数据迁移，由所述数据输出模块输出本次迁移模型及对应的迁移模型输出数据。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一所述方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至5任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010842358.4A CN111984624B (zh) | 2020-08-20 | 2020-08-20 | 一种通过矫正迁移模型进行数据迁移的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010842358.4A CN111984624B (zh) | 2020-08-20 | 2020-08-20 | 一种通过矫正迁移模型进行数据迁移的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111984624A true CN111984624A (zh) | 2020-11-24 |
| CN111984624B CN111984624B (zh) | 2023-08-18 |
Family
ID=73443543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010842358.4A Active CN111984624B (zh) | 2020-08-20 | 2020-08-20 | 一种通过矫正迁移模型进行数据迁移的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111984624B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113297325A (zh) * | 2021-05-04 | 2021-08-24 | 西安博达软件股份有限公司 | 一种主页平台数据同步中的非授权数据预校正方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107037978A (zh) * | 2016-10-31 | 2017-08-11 | 福建亿榕信息技术有限公司 | 数据迁移校正方法及系统 |
-
2020
- 2020-08-20 CN CN202010842358.4A patent/CN111984624B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107037978A (zh) * | 2016-10-31 | 2017-08-11 | 福建亿榕信息技术有限公司 | 数据迁移校正方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113297325A (zh) * | 2021-05-04 | 2021-08-24 | 西安博达软件股份有限公司 | 一种主页平台数据同步中的非授权数据预校正方法及系统 |
| CN113297325B (zh) * | 2021-05-04 | 2022-03-29 | 西安博达软件股份有限公司 | 一种主页平台数据同步中的非授权数据预校正方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111984624B (zh) | 2023-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110737594B (zh) | 自动生成测试用例的数据库标准符合性测试方法及装置 | |
| US8140901B2 (en) | Validation of processors using a self-generating test case framework | |
| US9274930B2 (en) | Debugging system using static analysis | |
| CN102024504B (zh) | 一种适于反应堆保护系统的逻辑测试方法及装置 | |
| CN105956191B (zh) | 一种数据迁移的方法及系统 | |
| CN110599341A (zh) | 交易调用方法及系统 | |
| CN112328499A (zh) | 一种测试数据生成方法、装置、设备及介质 | |
| CN111984624A (zh) | 一种通过矫正迁移模型进行数据迁移的方法及系统 | |
| CN117009774B (zh) | 一种多元数据快速验证方法 | |
| CN109144806B (zh) | 一种寄存器传输级电路的功能验证方法及装置 | |
| CN110908978A (zh) | 数据库数据结构验证方法及装置 | |
| JP5811859B2 (ja) | ソースコードの静的解析装置、システム、方法、及びそのためのプログラム | |
| CN111078526A (zh) | 一种测试用例的生成方法、装置及存储介质 | |
| CN114168399A (zh) | 一种信号处理单元测试方法及系统 | |
| CN113849484A (zh) | 一种大数据组件升级方法、装置、电子设备及存储介质 | |
| CN114675948A (zh) | 一种dag数据模型动态调度方法及系统 | |
| CN108628750B (zh) | 一种测试代码处理方法及装置 | |
| JPH1139363A (ja) | データ検証方式 | |
| CN111290938A (zh) | 一种基于人工辅助的Android半自动化测试方法 | |
| CN111506981A (zh) | 核电厂现场控制对象的逻辑仿真实现方法、装置及设备 | |
| CN111124782A (zh) | 一种智能配置计算机集群的方法及装置 | |
| CN111324546A (zh) | 一种任务测试方法及装置 | |
| CN115629736A (zh) | 一种plc编程软件界面设计方法、系统、设备及介质 | |
| CN118820178A (zh) | 文档处理方法和装置 | |
| CN111737122B (zh) | 一种大型机程序调用层级的检查方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |