CN114077600B - 一种基于arm内核的数据异构迁移可视化分析方法 - Google Patents

一种基于arm内核的数据异构迁移可视化分析方法 Download PDF

Info

Publication number
CN114077600B
CN114077600B CN202111419769.3A CN202111419769A CN114077600B CN 114077600 B CN114077600 B CN 114077600B CN 202111419769 A CN202111419769 A CN 202111419769A CN 114077600 B CN114077600 B CN 114077600B
Authority
CN
China
Prior art keywords
migration
data
displaying
comparing
analyzing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111419769.3A
Other languages
English (en)
Other versions
CN114077600A (zh
Inventor
宗洋洋
刘明
李林东
仝令玮
舒启东
王猛
杨连生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Fosung Science And Technology Co ltd
Original Assignee
Shandong Fosung Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Fosung Science And Technology Co ltd filed Critical Shandong Fosung Science And Technology Co ltd
Priority to CN202111419769.3A priority Critical patent/CN114077600B/zh
Publication of CN114077600A publication Critical patent/CN114077600A/zh
Application granted granted Critical
Publication of CN114077600B publication Critical patent/CN114077600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于ARM内核的数据异构迁移可视化分析方法，包括：A、异构数据迁移设计：S1、源数据库字段分析；S2、源数据库数据量统计；S3、目标数据库兼容分析；S4、生成迁移工作方案；S5、迁移方案可行性分析；B、异构数据迁移实施：S1、迁移前后数据结构对比分析；S2、迁移前后数据量对比分析；S3、迁移问题定位分析；S4、生成异构数据迁移报告。本发明基于ARM内核，实现异构数据迁移设计和异构数据迁移分析问题，为异构数据迁移设计提供依据，为异构数据迁移实施提供数据完整性验证，减轻了异构数据迁移设计的难度，保障了异构数据迁移结果的准确，节省异构数据迁移结果验证的时间，提高了数据迁移效率。

Description

一种基于ARM内核的数据异构迁移可视化分析方法
技术领域
本发明属于计算机技术领域，涉及一种数据迁移系统，特别是一种基于ARM内核的数据异构迁移可视化分析方法。
背景技术
在现有技术中，数据异构迁移设计工作人员在开展数据异构方案设计工作时，对于源数据库情况，没有很全面的数据库分析工具，只能凭借数据迁移经验和对数据库的熟悉情况，设计异构数据迁移方案，方案准确度存在偏差；数据异构迁移实施工作人员在完成数据异构迁移工作时，对于迁移后源数据库数据和目标数据库数据是否存在差异，没有全面的分析与展现工具，很难确定异构数据迁移是否完整。
目前业内数据库厂商，针对自己的数据库产品，有些厂商有对应的数据库分析和对比工具，不过是基于X86内核的，没有基于鲲鹏ARM内核实现的，而且支持的数据库种类和版本都比较单一，不能全面支撑异构数据迁移的需要。
发明内容
本发明的目的是针对现有的技术存在上述问题，提出了在数据异构迁移之前，分析源数据库数据结构以及数据量，作为评估数据异构迁移工作的依据；数据异构迁移之后，分析目标数据库数据结构以及数据量，通过与源数据结构与数据量的对比分析，评估异构数据迁移质量的基于ARM内核的数据异构迁移可视化分析方法。
本发明的目的可通过下列技术方案来实现：一种基于ARM内核的数据异构迁移可视化分析方法，其特征在于，包括以下内容：
A、异构数据迁移设计：
S1、源数据库字段分析；
通过读取数据表字段信息，获取数据类型、数据长度、存储长度、数字精度、字段类型、默认值信息，重点分析异构数据库兼容容易存在问题的数据类型、数据长度、字段类型、默认值属性；
S2、源数据库数据量统计；
通过读取数据表，针对每个数据表获取数据记录数，并计算数据占用空间大小，而后统计总体的记录数以及数据占用空间大小；
S3、目标数据库兼容分析；
选择目标数据库及其版本，结合目标数据库语法要求，分析目标数据库对源数据库的兼容程度；
S4、生成迁移工作方案；
根据源数据库分析和目标数据库兼容分析，生成迁移工作方案，包括数据字段类型和长度的兼容性、迁移工作量；
S5、迁移方案可行性分析；
各迁移方案至少从技术、工作量方面进行对比分析，选择最合适的迁移方案；
B、异构数据迁移实施：
S1、迁移前后数据结构对比分析；
通过读取源数据库和目标数据库数据表字段，对比迁移前后的数据表字段差异，分析迁移后的字段类型是否存在异常；
S2、迁移前后数据量对比分析；
通过读取源数据库和目标数据库数据表，统计每个数据表的数据记录数以及数据占用空间大小，每个数据表迁移前后进行对比，分析迁移后的数据是否完整；
S3、迁移问题定位分析；
结合S1和S2的分析结果，确定是语法兼容问题，还是数据不完整问题，并能准确定位到存在问题的数据表；
S4、生成异构数据迁移报告；
异构数据迁移完成后，生成异构数据迁移报告，至少包括迁移的数据表、记录数、异常情况信息。
在上述的基于ARM内核的数据异构迁移可视化分析方法中，根据分析结果绘制针对系统的系统配置图，针对信号或数据处理的信号或数据流处理过程图，针对处理器和/或软件的程序流程图和针对机械产品的透视图、三视图或剖视图。
在上述的基于ARM内核的数据异构迁移可视化分析方法中，步骤A的S1中，源数据库字段具体分析内容如下：
(1)数据类型，分析是否存在INT类型，INT类型是否有精度；
(2)数据长度，分析VARCHAR类型数据最大长度；
(3)字段类型，分析是否存在BLOB、CLOB、TEXT字段类型；
(4)默认值，分析是否存在时间类型TIMESTAMP默认设置为“0000-00-0000:00:00”。
在上述的基于ARM内核的数据异构迁移可视化分析方法中，步骤A的S2中，通过DATA_LENGTH和INDEX_LENGTH计算数据占用空间大小。
在上述的基于ARM内核的数据异构迁移可视化分析方法中，步骤A的S3中，重点分析异构数据库兼容容易存在问题的数据类型、数据长度、字段类型、默认值属性，具体分析内容如下：
(1)数据类型，INT类型兼容分析，部分数据库的INT类型，不需要也不能设置精度；
(2)数据长度，VARCHAR类型长度兼容分析，是否超过目标数据库最大长度，不同数据库VARCHAR类型长度是不同的；
(3)字段类型，BLOB、CLOB、TEXT字段类型兼容分析，部分数据库中这些字段类型不能使用DISTINCT、ORDER BY、GROUP BY关键字；
(4)默认值，时间类型TIMESTAMP默认值兼容分析，部分数据库中TIMESTAMP类型数据不能为“0000-00-0000:00:00”。
在上述的基于ARM内核的数据异构迁移可视化分析方法中，步骤A的S4中，针对不同目标数据库生成不同的迁移方案，方案内容涉及TABLE、VIEW、PROCEDURE、TRIGGER、FUNCTION、SEQUENCE，具体实现内容如下：
(1)TABLE，字段类型区分语法是否兼容，对比显示源数据库和目标数据库字段类型、长度，重点突出显示不兼容的字段；汇总展示数据记录数以及数据占用空间大小，并显示评估迁移难度以及迁移时间；
(2)VIEW，展示VIEW数量以及迁移难度；
(3)PROCEDURE，显示PROCEDURE数量、代码量、迁移难度以及迁移时间；
(4)TRIGGER，显示TRIGGER数量、代码量、迁移难度以及迁移时间；
(5)FUNCTION，显示FUNCTION数量、代码量、迁移难度以及迁移时间；
(6)SEQUENCE，显示SEQUENCE数量以及迁移难度；
在上述的基于ARM内核的数据异构迁移可视化分析方法中，步骤A的S5中，各迁移工作方案从兼容情况、迁移难度、迁移时间方面进行对比分析，以可视化图表的方式进行展示，具体实现内容如下：
(1)兼容情况，对比并展示不同方案数据对象的兼容情况，包括TABLE、VIEW、PROCEDURE、TRIGGER、FUNCTION、SEQUENCE数据库对象；
(2)迁移难度，以难度系数的方式进行对比显示，难度系数从0到10，迁移难度越来越高；
(3)迁移时间，汇总各迁移方案需要的迁移时间，并以图表的方式对比分析。
在上述的基于ARM内核的数据异构迁移可视化分析方法中，步骤B的S1中，从TABLE、VIEW、PROCEDURE、TRIGGER、FUNCTION、SEQUENCE方面对比迁移前后的区别，并以图表的方式分析展示，具体实现内容如下：
(1)TABLE，首先对比显示迁移前后的TABLE数量，验证TABLE数量是否一致；其次对比显示迁移前后每个TABLE的字段数量,验证每个TABLE字段数量是否一致；最后对比显示每个字段类型，只显示迁移前后存在区别的字段，以验证迁移前后是否存在问题；
(2)VIEW，首先对比显示迁移前后的VIEW数量，验证VIEW数量是否一致；针对每个VIEW，对比分析VIEW定义语句，显示迁移前后存在区别的VIEW定义语句，以验证迁移前后是否存在问题；
(3)PROCEDURE，首先对比显示迁移前后的PROCEDURE数量，验证PROCEDURE数量是否一致；针对每个PROCEDURE，对比分析PROCEDURE定义语句，显示迁移前后存在区别的PROCEDURE定义语句，突出显示存在区别的位置；
(4)TRIGGER，首先对比显示迁移前后的TRIGGER数量，验证TRIGGER数量是否一致；针对每个TRIGGER，对比分析TRIGGER定义语句，显示迁移前后存在区别的TRIGGER定义语句，突出显示存在区别的位置；
(5)FUNCTION，首先对比显示迁移前后的FUNCTION数量，验证FUNCTION数量是否一致；针对每个FUNCTION，对比分析FUNCTION定义语句，显示迁移前后存在区别的FUNCTION定义语句，突出显示存在区别的位置；
(6)SEQUENCE，首先对比显示迁移前后的SEQUENCE数量，验证SEQUENCE数量是否一致；针对每个SEQUENCE，对比分析递增数、最小值、最大值、当前值是否一致，显示迁移前后不一致的SEQUENCE及其对应值。
在上述的基于ARM内核的数据异构迁移可视化分析方法中，步骤B的S2中，从数据记录数、数据占用空间大小、最新10条数据三个方面对比迁移前后的区别，并以图表的方式分析展示，具体实现内容如下：
(1)数据记录数，读取迁移前后每个TABLE的数据记录数，验证数据记录数是否一致，突出显示不一致的TABLE；
(2)数据占用空间大小，读取迁移前后每个TABLE的数据占用空间大小，验证数据占用空间大小差异，对于数据占用空间差异明显的重点显示；
(3)最新10条数据，显示迁移前后每个TABLE的最新10条数据，对比最新10条数据是否存在区别，对于存在区别的数据突出显示。
与现有技术相比，本基于ARM内核的数据异构迁移可视化分析方法具有以下有益效果：
本发明基于ARM内核，对应用系统在数据异构迁移过程中，异构数据迁移设计和异构数据迁移分析问题提供了一种方法，为异构数据迁移设计提供依据，为异构数据迁移实施提供数据完整性验证，减轻了异构数据迁移设计的难度，保障了异构数据迁移结果的准确，节省异构数据迁移结果验证的时间，提高了数据迁移效率。
附图说明
图1是本发明中异构数据迁移设计的流程图。
图2是本发明中异构数据迁移实施的流程图。
具体实施方式
下面结合附图和具体实施例对本发明的具体实施方式做进一步说明：
本发明提供一套基于ARM内核的数据异构迁移可视化分析工具，使数据异构迁移设计工作人员进行数据异构迁移方案设计时，通过本工具详细分析源数据库数据结构、数据量等详细信息，并通过选择目标数据库，分析数据结构等语法差异，对比不同数据库产品，设计不同异构数据迁移方案，通过对比分析不同迁移方案，选择合适的迁移方案开始异构数据迁移工作，降低了方案设计人员的工作量，提高方案设计准确度，方便后期更好的开展数据迁移工作；数据异构迁移实施工作人员，依据数据异构迁移方案开展异构数据迁移工作，数据迁移完成后通过本工具分析对比迁移前后的数据情况，判断数据迁移是否完整，最后生成异构数据迁移情况报告，详细记录数据迁移情况，直观展示数据迁移情况，对于迁移不完整的部分可以精确定位，更好的服务了异构数据迁移工作。
Figure BDA0003376831740000051
Figure BDA0003376831740000061
表1数据表字段属性表
字段 字段说明 备注
TABLE_ID 数据表编号 主键
TABLE_NAME 数据表名称
NUM_ROWS 记录数
AVG_ROW_LEN 平均行长度 单位：字节
DATA_LENGTH 数据长度 单位：字节
MAX_DATA_LENGTH 最大数据长度 单位：字节
INDEX_LENGTH 索引长度 单位：字节
TABLE_COMMENT 注释
表2数据表属性表
如图1所示的异构数据迁移设计工作中的应用流程图，包括以下步骤：
步骤一，源数据库字段分析，基于数据库产品语法要求，针对不同数据库产品，获取数据表字段信息。通过DBA_TAB_COLUMNS读取数据表字段信息，详细信息如表1所示。根据数据表字段信息，重点分析异构数据库兼容容易存在问题的数据类型、数据长度、字段类型、默认值等属性，重点分析步骤如下：
(1)数据类型，分析是否存在INT类型，INT类型是否有精度。
(2)数据长度，分析VARCHAR类型数据最大长度。
(3)字段类型，分析是否存在BLOB、CLOB、TEXT等字段类型。
(4)默认值，分析是否存在时间类型TIMESTAMP默认设置为“0000-00-0000:00:00”。
步骤二，源数据库数据量统计，首先通过DBA_TABLES读取所有数据表信息，详细信息如表2所示。针对每个数据表获取数据记录数，并通过DATA_LENGTH和INDEX_LENGTH计算数据占用空间大小，最后统计总体的记录数以及数据占用空间大小。
步骤三：目标数据库兼容分析，选择目标数据库及其版本，结合目标数据库语法要求，分析目标数据库对源数据库的兼容程度。重点分析异构数据库兼容容易存在问题的数据类型、数据长度、字段类型、默认值等属性，重点分析步骤如下：
(1)数据类型，INT类型兼容分析，部分数据库的INT类型，不需要也不能设置精度。
(2)数据长度，VARCHAR类型长度兼容分析，是否超过目标数据库最大长度，不同数据库VARCHAR类型长度是不同的。
(3)字段类型，BLOB、CLOB、TEXT等字段类型兼容分析，部分数据库中这些字段类型是不能使用DISTINCT、ORDER BY、GROUP BY等关键字的。
(4)默认值，时间类型TIMESTAMP默认值兼容分析，部分数据库中TIMESTAMP类型数据不能为“0000-00-0000:00:00”，是不符合语法的。
步骤四：生成迁移工作方案，针对不同目标数据库生成不同的迁移方案，方案内容涉及TABLE、VIEW、PROCEDURE、TRIGGER、FUNCTION、SEQUENCE，具体实现内容如下：
(1)TABLE，字段类型区分语法是否兼容，对比显示源数据库和目标数据库字段类型、长度，重点突出显示不兼容的字段；汇总展示数据记录数以及数据占用空间大小，并显示评估迁移难度以及迁移时间。
(2)VIEW，展示VIEW数量以及迁移难度。
(3)PROCEDURE，显示PROCEDURE数量、代码量、迁移难度以及迁移时间。
(4)TRIGGER，显示TRIGGER数量、代码量、迁移难度以及迁移时间。
(5)FUNCTION，显示FUNCTION数量、代码量、迁移难度以及迁移时间。
(6)SEQUENCE，显示SEQUENCE数量以及迁移难度。
步骤五：迁移方案可行性分析，各迁移工作方案从兼容情况、迁移难度、迁移时间等方面进行对比分析，以可视化图表的方式进行展示，选择最合适的迁移方案。
(1)兼容情况，对比并展示不同方案数据对象的兼容情况，包括TABLE、VIEW、PROCEDURE、TRIGGER、FUNCTION、SEQUENCE等数据库对象。
(2)迁移难度，以难度系数的方式进行对比显示，难度系数从0到10，迁移难度越来越高。
(3)迁移时间，汇总各迁移方案需要的迁移时间，并以图表的方式对比分析。
如图2所示的异构数据迁移实施工作中的应用流程图，包括以下步骤：
步骤一：迁移前后数据结构对比分析，获取源数据库和目标数据库的数据对象，从TABLE、VIEW、PROCEDURE、TRIGGER、FUNCTION、SEQUENCE方面对比迁移前后的区别，并以图表的方式分析展示，具体实现内容如下：
(1)TABLE，首先对比显示迁移前后的TABLE数量，验证TABLE数量是否一致；其次对比显示迁移前后每个TABLE的字段数量,验证每个TABLE字段数量是否一致；最后对比显示每个字段类型，只显示迁移前后存在区别的字段，以验证迁移前后是否存在问题。
(2)VIEW，首先对比显示迁移前后的VIEW数量，验证VIEW数量是否一致；针对每个VIEW，对比分析VIEW定义语句，显示迁移前后存在区别的VIEW定义语句，以验证迁移前后是否存在问题。
(3)PROCEDURE，首先对比显示迁移前后的PROCEDURE数量，验证PROCEDURE数量是否一致；针对每个PROCEDURE，对比分析PROCEDURE定义语句，显示迁移前后存在区别的PROCEDURE定义语句，突出显示存在区别的位置。
(4)TRIGGER，首先对比显示迁移前后的TRIGGER数量，验证TRIGGER数量是否一致；针对每个TRIGGER，对比分析TRIGGER定义语句，显示迁移前后存在区别的TRIGGER定义语句，突出显示存在区别的位置。
(5)FUNCTION，首先对比显示迁移前后的FUNCTION数量，验证FUNCTION数量是否一致；针对每个FUNCTION，对比分析FUNCTION定义语句，显示迁移前后存在区别的FUNCTION定义语句，突出显示存在区别的位置。
(6)SEQUENCE，首先对比显示迁移前后的SEQUENCE数量，验证SEQUENCE数量是否一致；针对每个SEQUENCE，对比分析递增数、最小值、最大值、当前值是否一致，显示迁移前后不一致的SEQUENCE及其对应值。
步骤二：迁移前后数据量对比分析，获取源数据库和目标数据库的数据表，从数据记录数、数据占用空间大小、最新10条数据三个方面对比迁移前后的区别，并以图表的方式分析展示，具体实现内容如下：
(1)数据记录数，读取迁移前后每个TABLE的数据记录数，验证数据记录数是否一致，突出显示不一致的TABLE。
(2)数据占用空间大小，读取迁移前后每个TABLE的数据占用空间大小，验证数据占用空间大小差异，对于数据占用空间差异明显的重点显示。
(3)最新10条数据，显示迁移前后每个TABLE的最新10条数据，对比最新10条数据是否存在区别，对于存在区别的数据突出显示。
步骤三：迁移问题定位分析，结合步骤一和步骤二的分析结果，针对迁移前后存在差异的问题，定位到具体的数据库对象，分析存在差异的原因。
步骤四：生成异构数据迁移报告，异构数据迁移完成后，生成异构数据迁移报告，报告内容既有迁移对象数量、异常数量、迁移时间等汇总数据，也包括每个迁移对象情况具体情况，详细展示迁移的具体情况。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (1)

1.一种基于ARM内核的数据异构迁移可视化分析方法，其特征在于，包括以下内容：
A、异构数据迁移设计：
S1、源数据库字段分析；
通过读取数据表字段信息，获取数据类型、数据长度、存储长度、数字精度、字段类型、默认值信息，重点分析异构数据库兼容容易存在问题的数据类型、数据长度、字段类型、默认值属性；
S2、源数据库数据量统计；
通过读取数据表，针对每个数据表获取数据记录数，并计算数据占用空间大小，而后统计总体的记录数以及数据占用空间大小；
S3、目标数据库兼容分析；
选择目标数据库及其版本，结合目标数据库语法要求，分析目标数据库对源数据库的兼容程度；
S4、生成迁移工作方案；
根据源数据库分析和目标数据库兼容分析，生成迁移工作方案，包括数据字段类型和长度的兼容性、迁移工作量；
S5、迁移方案可行性分析；
各迁移方案至少从技术、工作量方面进行对比分析，选择最合适的迁移方案；
B、异构数据迁移实施：
S1、迁移前后数据结构对比分析；
通过读取源数据库和目标数据库数据表字段，对比迁移前后的数据表字段差异，分析迁移后的字段类型是否存在异常；
S2、迁移前后数据量对比分析；
通过读取源数据库和目标数据库数据表，统计每个数据表的数据记录数以及数据占用空间大小，每个数据表迁移前后进行对比，分析迁移后的数据是否完整；
S3、迁移问题定位分析；
结合S1和S2的分析结果，确定是语法兼容问题，还是数据不完整问题，并能准确定位到存在问题的数据表；
S4、生成异构数据迁移报告；
异构数据迁移完成后，生成异构数据迁移报告，至少包括迁移的数据表、记录数、异常情况信息；
根据分析结果绘制针对系统的系统配置图，针对信号或数据处理的信号或数据流处理过程图，针对处理器和/或软件的程序流程图和针对机械产品的透视图、三视图或剖视图；
步骤A的S1中，源数据库字段具体分析内容如下：
(1)数据类型，分析是否存在INT类型，INT类型是否有精度；
(2)数据长度，分析VARCHAR类型数据最大长度；
(3)字段类型，分析是否存在BLOB、CLOB、TEXT字段类型；
(4)默认值，分析是否存在时间类型TIMESTAMP默认设置为“0000-00-00 00:00:00”；
步骤A的S2中，通过DATA_LENGTH和INDEX_LENGTH计算数据占用空间大小；
步骤A的S3中，重点分析异构数据库兼容容易存在问题的数据类型、数据长度、字段类型、默认值属性，具体分析内容如下：
(1)数据类型，INT类型兼容分析，部分数据库的INT类型，不需要也不能设置精度；
(2)数据长度，VARCHAR类型长度兼容分析，是否超过目标数据库最大长度，不同数据库VARCHAR类型长度是不同的；
(3)字段类型，BLOB、CLOB、TEXT字段类型兼容分析，部分数据库中这些字段类型不能使用DISTINCT、ORDER BY、GROUP BY关键字；
(4)默认值，时间类型TIMESTAMP默认值兼容分析，部分数据库中TIMESTAMP类型数据不能为“0000-00-00 00:00:00”；
步骤A的S4中，针对不同目标数据库生成不同的迁移方案，方案内容涉及TABLE、VIEW、PROCEDURE、TRIGGER、FUNCTION、SEQUENCE，具体实现内容如下：
(1)TABLE，字段类型区分语法是否兼容，对比显示源数据库和目标数据库字段类型、长度，重点突出显示不兼容的字段；汇总展示数据记录数以及数据占用空间大小，并显示评估迁移难度以及迁移时间；
(2)VIEW，展示VIEW数量以及迁移难度；
(3)PROCEDURE，显示PROCEDURE数量、代码量、迁移难度以及迁移时间；
(4)TRIGGER，显示TRIGGER数量、代码量、迁移难度以及迁移时间；
(5)FUNCTION，显示FUNCTION数量、代码量、迁移难度以及迁移时间；
(6)SEQUENCE，显示SEQUENCE数量以及迁移难度；
步骤A的S5中，各迁移工作方案从兼容情况、迁移难度、迁移时间方面进行对比分析，以可视化图表的方式进行展示，具体实现内容如下：
(1)兼容情况，对比并展示不同方案数据对象的兼容情况，包括TABLE、VIEW、PROCEDURE、TRIGGER、FUNCTION、SEQUENCE数据库对象；
(2)迁移难度，以难度系数的方式进行对比显示，难度系数从0到10，迁移难度越来越高；
(3)迁移时间，汇总各迁移方案需要的迁移时间，并以图表的方式对比分析；
步骤B的S1中，从TABLE、VIEW、PROCEDURE、TRIGGER、FUNCTION、SEQUENCE方面对比迁移前后的区别，并以图表的方式分析展示，具体实现内容如下：
(1)TABLE，首先对比显示迁移前后的TABLE数量，验证TABLE数量是否一致；其次对比显示迁移前后每个TABLE的字段数量,验证每个TABLE字段数量是否一致；最后对比显示每个字段类型，只显示迁移前后存在区别的字段，以验证迁移前后是否存在问题；
(2)VIEW，首先对比显示迁移前后的VIEW数量，验证VIEW数量是否一致；针对每个VIEW，对比分析VIEW定义语句，显示迁移前后存在区别的VIEW定义语句，以验证迁移前后是否存在问题；
(3)PROCEDURE，首先对比显示迁移前后的PROCEDURE数量，验证PROCEDURE数量是否一致；针对每个PROCEDURE，对比分析PROCEDURE定义语句，显示迁移前后存在区别的PROCEDURE定义语句，突出显示存在区别的位置；
(4)TRIGGER，首先对比显示迁移前后的TRIGGER数量，验证TRIGGER数量是否一致；针对每个TRIGGER，对比分析TRIGGER定义语句，显示迁移前后存在区别的TRIGGER定义语句，突出显示存在区别的位置；
(5)FUNCTION，首先对比显示迁移前后的FUNCTION数量，验证FUNCTION数量是否一致；针对每个FUNCTION，对比分析FUNCTION定义语句，显示迁移前后存在区别的FUNCTION定义语句，突出显示存在区别的位置；
(6)SEQUENCE，首先对比显示迁移前后的SEQUENCE数量，验证SEQUENCE数量是否一致；针对每个SEQUENCE，对比分析递增数、最小值、最大值、当前值是否一致，显示迁移前后不一致的SEQUENCE及其对应值；
步骤B的S2中，从数据记录数、数据占用空间大小、最新10条数据三个方面对比迁移前后的区别，并以图表的方式分析展示，具体实现内容如下：
(1)数据记录数，读取迁移前后每个TABLE的数据记录数，验证数据记录数是否一致，突出显示不一致的TABLE；
(2)数据占用空间大小，读取迁移前后每个TABLE的数据占用空间大小，验证数据占用空间大小差异，对于数据占用空间差异明显的重点显示；
(3)最新10条数据，显示迁移前后每个TABLE的最新10条数据，对比最新10条数据是否存在区别，对于存在区别的数据突出显示。
CN202111419769.3A 2021-11-26 2021-11-26 一种基于arm内核的数据异构迁移可视化分析方法 Active CN114077600B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111419769.3A CN114077600B (zh) 2021-11-26 2021-11-26 一种基于arm内核的数据异构迁移可视化分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111419769.3A CN114077600B (zh) 2021-11-26 2021-11-26 一种基于arm内核的数据异构迁移可视化分析方法

Publications (2)

Publication Number Publication Date
CN114077600A CN114077600A (zh) 2022-02-22
CN114077600B true CN114077600B (zh) 2022-09-02

Family

ID=80284336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111419769.3A Active CN114077600B (zh) 2021-11-26 2021-11-26 一种基于arm内核的数据异构迁移可视化分析方法

Country Status (1)

Country Link
CN (1) CN114077600B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116467372A (zh) * 2023-02-21 2023-07-21 中国人民解放军海军工程大学 一种数据库自动转换方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899332A (zh) * 2015-06-24 2015-09-09 浪潮(北京)电子信息产业有限公司 一种Sybase数据库跨平台迁移方法和系统
CN105095506A (zh) * 2015-08-31 2015-11-25 浪潮(北京)电子信息产业有限公司 Sybase数据库迁移方法及系统
CN111367886A (zh) * 2020-03-02 2020-07-03 中国邮政储蓄银行股份有限公司 数据库中数据迁移的方法及装置
CN111680024A (zh) * 2020-06-11 2020-09-18 北京计算机技术及应用研究所 一种通用的异构数据库数据迁移方法
CN113076300A (zh) * 2021-03-31 2021-07-06 中国建设银行股份有限公司 数据迁移后的数据校验方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120137278A1 (en) * 2010-11-30 2012-05-31 International Business Machines Corporation Generating a customized set of tasks for migration of a deployed software solution
CN107122355B (zh) * 2016-02-24 2021-07-06 阿里巴巴集团控股有限公司 数据迁移系统和方法
CN108959470A (zh) * 2018-06-20 2018-12-07 郑州云海信息技术有限公司 一种数据库数据跨平台迁移方法和装置
US11327675B2 (en) * 2019-01-23 2022-05-10 Accenture Global Solutions Limited Data migration
US10931739B2 (en) * 2019-03-28 2021-02-23 Wipro Limited Method and system for generating strategy and roadmap for end-to-end information technology infrastructure cloud implementation
CN111258989B (zh) * 2020-02-14 2023-04-07 腾讯云计算(长沙)有限责任公司 数据库迁移评估方法、装置、存储介质和计算机设备
CN113297182B (zh) * 2021-06-16 2024-01-30 中国农业银行股份有限公司 数据迁移方法、设备、存储介质及程序产品

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899332A (zh) * 2015-06-24 2015-09-09 浪潮(北京)电子信息产业有限公司 一种Sybase数据库跨平台迁移方法和系统
CN105095506A (zh) * 2015-08-31 2015-11-25 浪潮(北京)电子信息产业有限公司 Sybase数据库迁移方法及系统
CN111367886A (zh) * 2020-03-02 2020-07-03 中国邮政储蓄银行股份有限公司 数据库中数据迁移的方法及装置
CN111680024A (zh) * 2020-06-11 2020-09-18 北京计算机技术及应用研究所 一种通用的异构数据库数据迁移方法
CN113076300A (zh) * 2021-03-31 2021-07-06 中国建设银行股份有限公司 数据迁移后的数据校验方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Migrating from SQL to NOSQL Database: Practices and Analysis;Fatima Yassine 等;《2018 International Conference on Innovations in Information Technology (IIT)》;20190110;58-62 *
面向数据中心的Docker容器在线迁移系统;徐波;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20200315(第03期);I137-40 *

Also Published As

Publication number Publication date
CN114077600A (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
CN108132957B (zh) 一种数据库处理方法及装置
US8019795B2 (en) Data warehouse test automation framework
US20090171991A1 (en) Method for verification of data and metadata in a data repository
Khan et al. Data tweening: incremental visualization of data transforms
CN111127068B (zh) 一种工程量清单自动组价方法和装置
CN114077600B (zh) 一种基于arm内核的数据异构迁移可视化分析方法
CN108416137B (zh) 一种飞机制造中便于简化表达标准件划分及追踪的方法
CN112307124A (zh) 数据库同步验证方法、装置、设备及存储介质
CN115859935A (zh) 一种基于指标库的数据分析报告模板生成系统及方法
US7992126B2 (en) Apparatus and method for quantitatively measuring the balance within a balanced scorecard
CN112634004B (zh) 征信数据的血缘图谱分析方法与系统
CN116166718B (zh) 一种数据血缘获取方法和装置
US20070282804A1 (en) Apparatus and method for extracting database information from a report
CN112786124A (zh) 一种问题排查方法、装置、存储介质及设备
US8065112B2 (en) Apparatus and method for assessing exceedance of a process beyond safe operating limits
CN107273293B (zh) 大数据系统性能测试方法、装置及电子设备
CN114968348A (zh) 数据分析方法及装置、电子设备、存储介质
JP2008117280A (ja) ソフトウェアソースコードの検索方法及びシステム
US8522082B1 (en) Method and apparatus for identifying remediation failures in year-2000 remediation programs
CN117390055B (zh) Jooq连表语句生成方法、设备以及介质
Ersoy et al. Data model extension impact analysis
US20060168560A1 (en) Report generating systems and methods
CN115391087A (zh) 一种报文校验的方法、装置、设备及介质
JP3311962B2 (ja) プログラム修正箇所検出装置
JPH10171890A (ja) 見積り資料作成装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant