CN111367895B - 数据迁移方法及装置 - Google Patents
数据迁移方法及装置 Download PDFInfo
- Publication number
- CN111367895B CN111367895B CN202010245733.7A CN202010245733A CN111367895B CN 111367895 B CN111367895 B CN 111367895B CN 202010245733 A CN202010245733 A CN 202010245733A CN 111367895 B CN111367895 B CN 111367895B
- Authority
- CN
- China
- Prior art keywords
- migration
- data
- target
- configuration
- configuration file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013508 migration Methods 0.000 title claims abstract description 246
- 230000005012 migration Effects 0.000 title claims abstract description 244
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000013507 mapping Methods 0.000 claims description 59
- 238000006243 chemical reaction Methods 0.000 claims description 26
- 230000005540 biological transmission Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012216 screening Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000012790 confirmation Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000008676 import Effects 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims 2
- 230000008569 process Effects 0.000 abstract description 16
- 230000006870 function Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 12
- 238000007689 inspection Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 239000000872 buffer Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000013506 data mapping Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2468—Fuzzy queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种数据迁移方法及装置，方法包括：对目标项目进行迁移配置并生成迁移配置文件；根据所述迁移配置文件和表目录的迁移类型进行目标项目的数据迁移；装置包括：配置单元，用于对目标项目进行迁移配置并生成迁移配置文件；迁移单元，用于根据所述迁移配置文件和表目录的迁移类型进行目标项目的数据迁移。本发明能够提高数据迁移的效率，还提高数据迁移过程的稳定性和迁移后目标系统数据的正确性。
Description
技术领域
本发明涉及数据管理技术领域，具体涉及一种数据迁移方法及装置。
背景技术
随着经济发展迅猛，电子商务进入发展高潮，企业互联网突袭的背景下，现有的IT系统往往不能满足客户所有业务的需求，大量的企业都在重新建设IT系统。重建后，业务数据需要从旧IT系统，经过数据转换迁移到新一代系统中。在输出的过程中，也面临将大量金融客户的原始数据迁移到同业系统中。
目前，数据迁移工作一直都缺乏一种通用的技术处理手段，来帮助减少迁移重复工作，降低迁移复杂度，提升迁移效率。基于上述原因，迫切需要抛弃原始的迁移处理方式，采用一种更加通用的数据迁移工艺，来提升迁移效率，减少迁移成本，降低迁移风险。
因此，如何提供一种数据迁移方法以解决上述问题，成为目前亟待解决的技术问题。
发明内容
针对现有技术中的问题，本发明提供一种数据迁移方法及装置，能够有效提高地震数据中的强反射信号的分离准确性，且能够有效提高分离强反射信号后得到的有效信号的保真性。
为解决上述技术问题，本发明提供以下技术方案：
第一方面，本发明提供一种数据迁移方法，包括：
对目标项目进行迁移配置并生成迁移配置文件；
根据所述迁移配置文件和表目录的迁移类型进行目标项目的数据迁移。
其中，所述对目标项目进行迁移配置并生成迁移配置文件，包括：
对所述目标项目的表目录、源表结构、源代码检核表、目标表结构和目标代码检核表表进行输入配置以及对所述目标项目的第一字段映射表和所述第二字段映射表进行转换配置；
对输入配置和转换配置后的目标项目进行压缩处理生成迁移配置文件。
其中，所述源表结构和目标表结构分别包括：表英文名称、表中文名称、字段英文名称、字段中文名称、主键、数据类型、字段长度、码制、代码域、字段注释和备注中至少一种。
其中，所述源表结构与目标表结构相同。
其中，所述第一字段映射表为模糊匹配字段映射表；所述第二字段映射表为筛选确认字段映射表。
其中，所述模糊匹配字段映射表用于根据源表与目标表的字段按照相似度匹配算法进行每个字段的模糊匹配生成模糊匹配结果；根据模糊匹配结果进行筛选确认，得到最终的字段匹配结果。
其中，所述根据所述迁移配置文件和表目录的迁移类型进行目标项目的数据迁移，包括：
判断表目录的迁移类型为源表，则根据迁移配置文件对源表进行数据的导入和检核；
判断表目录的迁移类型为目标表，则根据迁移配置文件对目标表进行数据的导出、数据传输和检核。
其中，所述检核包括：合规性检核和一致性检核中至少一种。
第二方面，本发明提供一种数据迁移装置，包括：
配置单元，用于对目标项目进行迁移配置并生成迁移配置文件；
迁移单元，用于根据所述迁移配置文件和表目录的迁移类型进行目标项目的数据迁移。
其中，所述配置单元，包括：
配置子单元，用于对所述目标项目的表目录、源表结构、源代码检核表、目标表结构和目标代码检核表表进行输入配置以及对所述目标项目的第一字段映射表和所述第二字段映射表进行转换配置；
压缩子单元，用于对输入配置和转换配置后的目标项目进行压缩处理生成迁移配置文件。
其中，所述源表结构和目标表结构分别包括：表英文名称、表中文名称、字段英文名称、字段中文名称、主键、数据类型、字段长度、码制、代码域、字段注释和备注中至少一种。
其中，所述源表结构与目标表结构相同。
其中，所述第一字段映射表为模糊匹配字段映射表；所述第二字段映射表为筛选确认字段映射表。
其中，所述模糊匹配字段映射表用于根据源表与目标表的字段按照相似度匹配算法进行每个字段的模糊匹配生成模糊匹配结果；根据模糊匹配结果进行筛选确认，得到最终的字段匹配结果。
其中，所述迁移单元包括：
第一迁移子单元，用于判断表目录的迁移类型为源表，则根据迁移配置文件对源表进行数据的导入和检核；
第二迁移子单元，用于判断表目录的迁移类型为目标表，则根据迁移配置文件对目标表进行数据的导出、数据传输和检核。
其中，所述检核包括：合规性检核和一致性检核中至少一种。
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的数据迁移方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的数据迁移方法的步骤。
由上述技术方案可知，本发明提供一种数据迁移方法及装置，通过对目标项目进行迁移配置并生成迁移配置文件；根据所述迁移配置文件和表目录的迁移类型进行目标项目的数据迁移，能够提高数据迁移的效率，还提高数据迁移过程的稳定性和迁移后目标系统数据的正确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的数据迁移方法的流程示意图。
图2为本发明实施例中的数据迁移装置的结构示意图。
图3为本发明实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在对本发明实施例进行说明之前，对数据迁移涉及的名词进行解释：
数据迁移：指将源系统环境中的数据迁移到目标环境中的全过程。主要包括四个阶段：数据传输、数据转换、数据移入、数据移出，也称数据移植或数据移行。
数据转换：指将源系统的源数据按数据映射表中的转换关系转成目标系统的目标数据的过程。数据转换通过程序在数据转换环境中批处理完成。广义的数据转换过程包括数据转换后检核，只有通过了数据转换后检核，才可以进行数据移入过程。
数据检核：指按照一定的检核规则对数据进行检核，检核的内容和方法包括：字段有效性检核、表内和表间一致性检核、完整性检核、账务平衡检核、报表检核等。根据数据移植的阶段划分，数据检核又分为转换前检核(迁出前检核，源系统环境完成)、转换后检核(迁入前检核，中间环境完成)、加载后检核(迁入后检核，新一代系统环境完成)、移出后检核。
数据映射表(MAPPING表)：指描述源与目标系统数据表之间字段级转换关系的文档，一般用EXCEL文档表示，左边是目标结构的相关内容：字段中文名、字段英文名、数据类型、字段取值说明、字段约束说明、缺省值等信息，右边是源结构到目标结构的转换关系描述：迁移方法类型(固定值/直接取值/代码映射/条件映射/公共规则/数据补录/数据清理)、函数/固定值/源字段、转换规则描述、备注等。
本发明提供一种数据迁移方法的实施例，参见图1，所述数据迁移方法具体包含有如下内容：
S101：对目标项目进行迁移配置并生成迁移配置文件；
在本步骤中，需要先进行迁移配置，根据实际的迁移项目需求完成相应的迁移配置开发，该配置是对本次项目所有事项的完整描述，主要包括：
表目录：迁移过程中涉及的所有交互表(源及目标表)清单以及对应的描述；
传输环境：迁移过程中涉及的所有交互环境(源及目标环境)描述；
源表结构：所有源表数据结构以及源表检核规则描述；
源代码检核表：源表涉及的所有代码取值字段的检核规则描述；
目标表结构：所有目标表数据结构以及目标表检核规则描述；
目标代码检核表：目标表涉及的所有代码取值字段的检核规则描述；
代码映射表：源表代码取值到目标表代码取值的映射描述；
字段映射表：源表字段到目标表字段的映射规则描述。
在本实施例中，对需要进行迁移的目标项目进行迁移配置，确定目标项目的具体迁移数据；在对目标项目进行迁移配置时，对目标项目的表目录、源表结构、源代码检核表、目标表结构和目标代码检核表表进行输入配置，还包括对目标项目的第一字段映射表和所述第二字段映射表进行转换配置；具体根据实际的迁移项目需求完成相应的迁移配置。
对输入配置和转换配置后的目标项目进行压缩处理生成迁移配置文件。
进一步的，所述源表结构和目标表结构分别包括：表英文名称、表中文名称、字段英文名称、字段中文名称、主键、数据类型、字段长度、码制、代码域、字段注释和备注中至少一种。
其中，所述源表结构与目标表结构相同。所述第一字段映射表为模糊匹配字段映射表；所述第二字段映射表为筛选确认字段映射表。
所述模糊匹配字段映射表用于根据源表与目标表的字段按照相似度匹配算法进行每个字段的模糊匹配生成模糊匹配结果；根据模糊匹配结果进行筛选确认，得到最终的字段匹配结果。
其中，相似度匹配算法如下：
设：字段中文名称相似度：W1(0～1)；
字段备注相似度：W2(0～1)；
表中文名称相似度：W3(0～1)；
则字段相似度S＝(W1+W2)*lg(10+W3*10)。
S102：根据所述迁移配置文件和表目录的迁移类型进行目标项目的数据迁移。
在本步骤中，所述根据所述迁移配置文件和表目录的迁移类型进行目标项目的数据迁移，包括：
读取配置文件并确定表目录的迁移类型，在本实施例中，表目录的迁移类型包括：源表和目标表。
自动创建相关的输入输出数据文件目录、配置文件目录、日志目录、检核目录，确认配置文件导入后，进入到表目录清单，根据表目录的类型进行迁移：
判断表目录的迁移类型为源表，则根据迁移配置文件对源表进行数据的导入和检核；
源表：首先根据表目录清单判断是否需要获取源表的数据文件，如果需要见则根据传输环境配置的IP、端口、传输类型(SFTP、FTP、XCOM、LOCAL)自动选择传输方式来获取源表数据文件，同时根据源表结构配置文件自动生成建表脚本和导入所需要的ctl配置文件，再利用建表脚本在迁移库中创建源表表结构，然后根据表目录的码制判断是否需要转码，若需要则数据文件用Conv_Utf8.jar自动转码,然后通过sqlload和自动生成ctl配置装入迁移库中，同时根据代码映射配置文件，自动导入代码映射到相关的代码映射表，最后根据源表结构配置文件中的检核配置(非空、固定值、日期、自定义函数等)，自动生成CHK检核脚本对装入的源表数据进行检核。根据需要，可选择相关序号分步执行和一步全部执行。
判断表目录的迁移类型为目标表，则根据迁移配置文件对目标表进行数据的导出、数据传输和检核。
目标表：根据配置文件中的目标表结构自动生成导出配置,然后利用SqlExport.jar工具、导出配置和导出sql导出本批次表的数据文件，再根据目标表表结构配置文件中的检核配置(非空、固定值、日期、自定义函数等)，自动生成CHK检核脚本对目标表数据进行检核，最后用TAR将导出的目标表数据文件和自动生成的其相关的导入脚本打包并通过传输环境配置的IP、端口、传输类型自动选择传输方式传输到目标环境。根据需要，可选择相关序号分步执行和一步全部执行。
进一步的，所述检核包括：合规性检核和一致性检核中至少一种。
在本实施例中数据检核包括：合规性检核和一致性检核。
合规性检核是指检查数据自身是否合乎规范，检查如下：
1、检查字段非空：
2、检查字段格式：
a.字段取值限制包含特定的字符(如邮箱包含@)；
b.字段取值限制为数字或字母或混合。(如邮编为6位数字)；
3、检查取值范围：
a.代码类型字段，检查取值是否在代码表中；
b.限定连续范围的字段,检查取值是否超过最高值或低于最低值；
c.日期字段，检查年月日取值是否有效；
d.时间字段，检查时分秒取值是否有效；
一致性检核是指对具体某一个表的某一个具体字段，其内容在迁移前后应该一致。
针对该字段，从A表获取数据生成结果文件，同时从B表也获取数据生成结果文件，做MAPPING后比较这2个结果文件的差异，应该无差异，若有差异，则表示迁移出现问题。
对于一致性的检查，分为横向检查和纵向检查：
横向检查是指以关键字为索引，比较这一关键字对应的其他数据项，检查对应的MAPPING规则，例如比较同一客户的性别、出生日期、产品合约信息、参与人合约信息等是否一致，因为数据量很大，所以建议只做抽样检查，需要注意比较之前先要进行转码操作。
纵向检查是指按照三要素排序后，性别、出生日期、国籍等应该一致，所有表中牵涉数据项很多，建议只检查关键项。
从上述描述可知，本发明实施例提供的数据迁移方法，通过对目标项目进行迁移配置并生成迁移配置文件；根据所述迁移配置文件和表目录的迁移类型进行目标项目的数据迁移，能够提高数据迁移的效率，还提高数据迁移过程的稳定性和迁移后目标系统数据的正确性。
本发明实施例提供一种能够实现所述数据迁移方法中全部内容的数据迁移装置的具体实施方式，参见图2，所述数据迁移装置具体包括如下内容：
配置单元10，用于对目标项目进行迁移配置并生成迁移配置文件；
迁移单元20，用于根据所述迁移配置文件和表目录的迁移类型进行目标项目的数据迁移。
其中，所述配置单元，包括：
配置子单元，用于对所述目标项目的表目录、源表结构、源代码检核表、目标表结构和目标代码检核表表进行输入配置以及对所述目标项目的第一字段映射表和所述第二字段映射表进行转换配置；
压缩子单元，用于对输入配置和转换配置后的目标项目进行压缩处理生成迁移配置文件。
其中，所述源表结构和目标表结构分别包括：表英文名称、表中文名称、字段英文名称、字段中文名称、主键、数据类型、字段长度、码制、代码域、字段注释和备注中至少一种。
其中，所述源表结构与目标表结构相同。
其中，所述第一字段映射表为模糊匹配字段映射表；所述第二字段映射表为筛选确认字段映射表。
其中，所述模糊匹配字段映射表用于根据源表与目标表的字段按照相似度匹配算法进行每个字段的模糊匹配生成模糊匹配结果；根据模糊匹配结果进行筛选确认，得到最终的字段匹配结果。
其中，所述迁移单元包括：
第一迁移子单元，用于判断表目录的迁移类型为源表，则根据迁移配置文件对源表进行数据的导入和检核；
第二迁移子单元，用于判断表目录的迁移类型为目标表，则根据迁移配置文件对目标表进行数据的导出、数据传输和检核。
其中，所述检核包括：合规性检核和一致性检核中至少一种。
本发明提供的数据迁移装置的实施例具体可以用于执行上述实施例中的数据迁移方法的实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
从上述描述可知，本发明实施例提供的数据迁移装置，通过对目标项目进行迁移配置并生成迁移配置文件；根据所述迁移配置文件和表目录的迁移类型进行目标项目的数据迁移，能够提高数据迁移的效率，还提高数据迁移过程的稳定性和迁移后目标系统数据的正确性。
本申请提供一种用于实现所述数据迁移方法中的全部或部分内容的电子设备的实施例所述电子设备具体包含有如下内容：
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现相关设备之间的信息传输；该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照实施例用于实现所述数据迁移方法的实施例及用于实现所述数据迁移装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
图3为本申请实施例的电子设备9600的系统构成的示意框图。如图3所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图3是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，数据迁移功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：对目标项目进行迁移配置并生成迁移配置文件；根据所述迁移配置文件和表目录的迁移类型进行目标项目的数据迁移。
从上述描述可知，本申请的实施例提供的电子设备，通过对目标项目进行迁移配置并生成迁移配置文件；根据所述迁移配置文件和表目录的迁移类型进行目标项目的数据迁移，能够提高数据迁移的效率，还提高数据迁移过程的稳定性和迁移后目标系统数据的正确性。
在另一个实施方式中，数据迁移装置可以与中央处理器9100分开配置，例如可以将数据迁移配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现数据迁移功能。
如图3所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图3中所示的所有部件；此外，电子设备9600还可以包括图3中没有示出的部件，可以参考现有技术。
如图3所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本发明的实施例还提供能够实现上述实施例中的数据迁移方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的数据迁移方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：对目标项目进行迁移配置并生成迁移配置文件；根据所述迁移配置文件和表目录的迁移类型进行目标项目的数据迁移。
从上述描述可知，本发明实施例提供的计算机可读存储介质，通过对目标项目进行迁移配置并生成迁移配置文件；根据所述迁移配置文件和表目录的迁移类型进行目标项目的数据迁移，能够提高数据迁移的效率，还提高数据迁移过程的稳定性和迁移后目标系统数据的正确性。
虽然本发明提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
本领域技术人员应明白，本说明书的实施例可提供为方法、装置(系统)或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (14)
1.一种数据迁移方法，其特征在于，包括：
对目标项目进行迁移配置并生成迁移配置文件；
根据所述迁移配置文件和表目录的迁移类型进行目标项目的数据迁移；
所述对目标项目进行迁移配置并生成迁移配置文件，包括：
对所述目标项目的表目录、源表结构、源代码检核表、目标表结构和目标代码检核表表进行输入配置以及对所述目标项目的第一字段映射表和第二字段映射表进行转换配置；
对输入配置和转换配置后的目标项目进行压缩处理生成迁移配置文件；
所述根据所述迁移配置文件和表目录的迁移类型进行目标项目的数据迁移，包括：判断表目录的迁移类型为源表，则根据迁移配置文件对源表进行数据的导入和检核；
所述判断表目录的迁移类型为源表，则根据迁移配置文件对源表进行数据的导入和检核包括：判断表目录的迁移类型为源表，则根据表目录判断是否需要获取源表的数据文件；若需要则根据传输环境配置的IP、端口、传输类型自动选择传输方式来获取源表数据文件，同时根据源表结构配置文件自动生成建表脚本和导入所需要的ctl配置文件；利用建表脚本在迁移库中创建源表表结构，然后根据表目录的码制判断是否需要转码；若需要转码则利用Conv _Utf8.jar对源表的数据文件进行自动转码，然后通过oracle提供的批量导入文件数据的工具sqlload和自动生成的ctl配置文件将转码后的源表数据装入迁移库中，同时根据代码映射配置文件，自动导入代码映射到相关的代码映射表，最后根据源表结构配置文件中的检核配置，自动生成检核脚本对装入的源表数据进行检核；
判断表目录的迁移类型为目标表，则根据迁移配置文件对目标表进行数据的导出、数据传输和检核；
判断表目录的迁移类型为目标表，则根据迁移配置文件对目标表进行数据的导出、数据传输和检核包括：根据迁移配置文件中的目标表结构自动生成导出配置，然后利用SqlExport.jar工具、导出配置和导出sql导出本批次表的数据文件，再根据目标表表结构配置文件中的检核配置，自动生成CHK检核脚本对目标表数据进行检核，最后用TAR将导出的目标表数据文件和自动生成的其相关的导入脚本打包并通过传输环境配置的IP、端口、传输类型自动选择传输方式传输到目标环境。
2.根据权利要求1所述的数据迁移方法，其特征在于，所述源表结构和目标表结构分别包括：表英文名称、表中文名称、字段英文名称、字段中文名称、主键、数据类型、字段长度、码制、代码域、字段注释和备注中至少一种。
3.根据权利要求1所述的数据迁移方法，其特征在于，所述源表结构与目标表结构相同。
4.根据权利要求1所述的数据迁移方法，其特征在于，所述第一字段映射表为模糊匹配字段映射表；所述第二字段映射表为筛选确认字段映射表。
5.根据权利要求4所述的数据迁移方法，其特征在于，所述模糊匹配字段映射表用于根据源表与目标表的字段按照相似度匹配算法进行每个字段的模糊匹配生成模糊匹配结果；根据模糊匹配结果进行筛选确认，得到最终的字段匹配结果。
6.根据权利要求1所述的数据迁移方法，其特征在于，所述检核包括：合规性检核和一致性检核中至少一种。
7.一种数据迁移装置，其特征在于，包括：
配置单元，用于对目标项目进行迁移配置并生成迁移配置文件；
迁移单元，用于根据所述迁移配置文件和表目录的迁移类型进行目标项目的数据迁移；
所述配置单元，包括：
配置子单元，用于对所述目标项目的表目录、源表结构、源代码检核表、目标表结构和目标代码检核表表进行输入配置以及对所述目标项目的第一字段映射表和第二字段映射表进行转换配置；
压缩子单元，用于对输入配置和转换配置后的目标项目进行压缩处理生成迁移配置文件；
所述迁移单元包括：
第一迁移子单元，用于判断表目录的迁移类型为源表，则根据迁移配置文件对源表进行数据的导入和检核；所述判断表目录的迁移类型为源表，则根据迁移配置文件对源表进行数据的导入和检核包括：判断表目录的迁移类型为源表，则根据表目录判断是否需要获取源表的数据文件；若需要则根据传输环境配置的IP、端口、传输类型自动选择传输方式来获取源表数据文件，同时根据源表结构配置文件自动生成建表脚本和导入所需要的ctl配置文件；利用建表脚本在迁移库中创建源表表结构，然后根据表目录的码制判断是否需要转码；若需要转码则利用Conv _Utf8.jar对源表的数据文件进行自动转码，然后通过oracle提供的批量导入文件数据的工具sqlload和自动生成的ctl配置文件将转码后的源表数据装入迁移库中，同时根据代码映射配置文件，自动导入代码映射到相关的代码映射表，最后根据源表结构配置文件中的检核配置，自动生成检核脚本对装入的源表数据进行检核；
第二迁移子单元，用于判断表目录的迁移类型为目标表，则根据迁移配置文件对目标表进行数据的导出、数据传输和检核；
判断表目录的迁移类型为目标表，则根据迁移配置文件对目标表进行数据的导出、数据传输和检核包括：根据迁移配置文件中的目标表结构自动生成导出配置，然后利用SqlExport.jar工具、导出配置和导出sql导出本批次表的数据文件，再根据目标表表结构配置文件中的检核配置，自动生成CHK检核脚本对目标表数据进行检核，最后用TAR将导出的目标表数据文件和自动生成的其相关的导入脚本打包并通过传输环境配置的IP、端口、传输类型自动选择传输方式传输到目标环境。
8.根据权利要求7所述的数据迁移装置，其特征在于，所述源表结构和目标表结构分别包括：表英文名称、表中文名称、字段英文名称、字段中文名称、主键、数据类型、字段长度、码制、代码域、字段注释和备注中至少一种。
9.根据权利要求7所述的数据迁移装置，其特征在于，所述源表结构与目标表结构相同。
10.根据权利要求7所述的数据迁移装置，其特征在于，所述第一字段映射表为模糊匹配字段映射表；所述第二字段映射表为筛选确认字段映射表。
11.根据权利要求10所述的数据迁移装置，其特征在于，所述模糊匹配字段映射表用于根据源表与目标表的字段按照相似度匹配算法进行每个字段的模糊匹配生成模糊匹配结果；根据模糊匹配结果进行筛选确认，得到最终的字段匹配结果。
12.根据权利要求11所述的数据迁移装置，其特征在于，所述检核包括：合规性检核和一致性检核中至少一种。
13.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述的数据迁移方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6任一项所述的数据迁移方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010245733.7A CN111367895B (zh) | 2020-03-31 | 2020-03-31 | 数据迁移方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010245733.7A CN111367895B (zh) | 2020-03-31 | 2020-03-31 | 数据迁移方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111367895A CN111367895A (zh) | 2020-07-03 |
| CN111367895B true CN111367895B (zh) | 2023-11-24 |
Family
ID=71209304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010245733.7A Active CN111367895B (zh) | 2020-03-31 | 2020-03-31 | 数据迁移方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111367895B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111930819B (zh) * | 2020-08-14 | 2024-03-15 | 中国工商银行股份有限公司 | Etl脚本生成方法和装置 |
| CN113190534A (zh) * | 2021-05-26 | 2021-07-30 | 中国工商银行股份有限公司 | 数据库数据迁移方法及装置 |
| CN113392091A (zh) * | 2021-06-30 | 2021-09-14 | 中国工商银行股份有限公司 | 分布式集群数据迁移方法及装置 |
| CN114676111A (zh) * | 2022-03-24 | 2022-06-28 | 中国工商银行股份有限公司 | 大容量数据移行方法及装置 |
| CN115422168B (zh) * | 2022-11-02 | 2023-01-10 | 北京滴普科技有限公司 | 一种轻量级数据迁移装置及方法 |
| CN117648303A (zh) * | 2023-11-07 | 2024-03-05 | 集友科技创新(深圳)有限公司 | 一种银行核心系统及其配套外围系统的数据迁移方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104281704A (zh) * | 2014-10-22 | 2015-01-14 | 新华瑞德（北京）网络科技有限公司 | 数据库数据拷贝方法和装置 |
| CN104899333A (zh) * | 2015-06-24 | 2015-09-09 | 浪潮(北京)电子信息产业有限公司 | 一种Oracle数据库跨平台迁移方法和系统 |
| CN105205117A (zh) * | 2015-09-09 | 2015-12-30 | 郑州悉知信息科技股份有限公司 | 一种数据表迁移方法和装置 |
| CN107506462A (zh) * | 2017-08-30 | 2017-12-22 | 中国建设银行股份有限公司 | 企业级数据的数据处理方法、系统、电子设备、存储介质 |
| CN107958057A (zh) * | 2017-11-29 | 2018-04-24 | 苏宁云商集团股份有限公司 | 一种用于异构数据库中数据迁移的代码生成方法及装置 |
| CN109002474A (zh) * | 2018-06-15 | 2018-12-14 | 北京信安世纪科技股份有限公司 | 一种数据迁移方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1857946B1 (en) * | 2006-05-16 | 2018-04-04 | Sap Se | Systems and methods for migrating data |
-
2020
- 2020-03-31 CN CN202010245733.7A patent/CN111367895B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104281704A (zh) * | 2014-10-22 | 2015-01-14 | 新华瑞德（北京）网络科技有限公司 | 数据库数据拷贝方法和装置 |
| CN104899333A (zh) * | 2015-06-24 | 2015-09-09 | 浪潮(北京)电子信息产业有限公司 | 一种Oracle数据库跨平台迁移方法和系统 |
| CN105205117A (zh) * | 2015-09-09 | 2015-12-30 | 郑州悉知信息科技股份有限公司 | 一种数据表迁移方法和装置 |
| CN107506462A (zh) * | 2017-08-30 | 2017-12-22 | 中国建设银行股份有限公司 | 企业级数据的数据处理方法、系统、电子设备、存储介质 |
| CN107958057A (zh) * | 2017-11-29 | 2018-04-24 | 苏宁云商集团股份有限公司 | 一种用于异构数据库中数据迁移的代码生成方法及装置 |
| CN109002474A (zh) * | 2018-06-15 | 2018-12-14 | 北京信安世纪科技股份有限公司 | 一种数据迁移方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| 中国地质环境监测院.《地质灾害防治信息化建设理论与技术方法》.地质出版社,2015,182-184. * |
| 南通大学教务处.《南通大学优秀毕业设计（论文）集 2010届》.苏州大学出版社,2013,345-346. * |
| 张长富.《PowerBuilder 9.0开发人员指南》.兵器工业出版社,2002,515-517. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111367895A (zh) | 2020-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111367895B (zh) | 数据迁移方法及装置 | |
| CN111325626B (zh) | 对账数据推送方法及装置 | |
| CN111914520A (zh) | 文档协同编辑方法、装置、计算机装置及存储介质 | |
| CN102129425B (zh) | 数据仓库中大对象集合表的访问方法及装置 | |
| MX2014011988A (es) | Sistema de telemetria para un sistema de sincronizacion de nube. | |
| CN112861496A (zh) | 报表生成显示方法、装置、计算机设备和可读存储介质 | |
| US20100076937A1 (en) | Feed processing | |
| CN111367988A (zh) | 数据导入方法及装置 | |
| CN111680067A (zh) | 基于区块链的数据处理方法、装置及系统 | |
| US20210124752A1 (en) | System for Data Collection, Aggregation, Storage, Verification and Analytics with User Interface | |
| CN112364049A (zh) | 数据同步脚本生成方法、系统、终端及存储介质 | |
| US20240005165A1 (en) | Machine learning model training method, prediction method therefor, apparatus, device, computer-readable storage medium, and computer program product | |
| CN113190534A (zh) | 数据库数据迁移方法及装置 | |
| CN112784112A (zh) | 报文校验方法及装置 | |
| CN111797099A (zh) | 一种基于科目与辅助属性的数据处理方法及装置 | |
| CN113656180A (zh) | 单元化架构下批量处理文件的系统、方法及相关产品 | |
| CN113297179A (zh) | 监管报送数据的处理方法及装置 | |
| CN113360215A (zh) | 程序运行方法、装置及计算机可读存储介质 | |
| CN111291084A (zh) | 样本id对齐方法、装置、设备及存储介质 | |
| CN115495658A (zh) | 一种数据处理方法和装置 | |
| CN111859041B (zh) | 数据报送方法及装置 | |
| CN114169733A (zh) | 一种资源分配方法和装置 | |
| CN113947297A (zh) | 一种基于模板变量的公式转换方法及系统 | |
| CN109213821B (zh) | 数据处理方法及系统 | |
| CN112783633A (zh) | 基于资源互斥调度模型的数据更新系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220922 Address after: 25 Financial Street, Xicheng District, Beijing 100033 Applicant after: CHINA CONSTRUCTION BANK Corp. Address before: 25 Financial Street, Xicheng District, Beijing 100033 Applicant before: CHINA CONSTRUCTION BANK Corp. Applicant before: Jianxin Financial Science and Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |