CN117271478A - 数据迁移方法、装置、存储介质以及电子设备 - Google Patents
数据迁移方法、装置、存储介质以及电子设备 Download PDFInfo
- Publication number
- CN117271478A CN117271478A CN202311337535.3A CN202311337535A CN117271478A CN 117271478 A CN117271478 A CN 117271478A CN 202311337535 A CN202311337535 A CN 202311337535A CN 117271478 A CN117271478 A CN 117271478A
- Authority
- CN
- China
- Prior art keywords
- data
- migrated
- target
- type
- library
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000005012 migration Effects 0.000 title claims abstract description 70
- 238000013508 migration Methods 0.000 title claims abstract description 70
- 238000003860 storage Methods 0.000 title claims abstract description 30
- 238000006243 chemical reaction Methods 0.000 claims abstract description 30
- 238000013507 mapping Methods 0.000 claims description 27
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000013500 data storage Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 10
- 230000005856 abnormality Effects 0.000 abstract description 9
- 238000012545 processing Methods 0.000 description 34
- 238000010586 diagram Methods 0.000 description 13
- 230000008676 import Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000007726 management method Methods 0.000 description 8
- 238000012546 transfer Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000004140 cleaning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000009960 carding Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据迁移方法、装置、存储介质以及电子设备。涉及大数据领域。该方法包括：接收待迁移数据，并确定待迁移数据的编码类型，得到第一类型；确定用于存储第一类型的数据的目标转码库，将待迁移数据存储至目标转码库中的临时表中；解析临时表的表结构，并根据表结构在数据库集群中的业务库中生成业务表；对待迁移数据进行配置数据的解析，得到目标配置数据，并将目标配置数据存储至数据库集群中的业务库对应的外部表中；根据目标配置数据将待迁移数据转码为第二类型的编码数据，得到目标数据，并将目标数据存储至业务表中。通过本申请，解决了相关技术中在对定长数据进行码制转换后，完成转换的数据容易存在异常的问题。
Description
技术领域
本申请涉及大数据领域，具体而言，涉及一种数据迁移方法、装置、存储介质以及电子设备。
背景技术
在金融科技领域，数据应用已成为业务开展的关键，其中，海量的金融数据对于市场洞察、客户服务等方面具有深远的影响。为了处理大规模的数据和作业，许多金融机构选择使用MPP(Massively Parallel Processing)分布式数据库，尤其在OLAP(On-LineAnalytical Processing，线上分析处理)场景下，其并行处理能力使得数据查询和分析变得更为高效。
然而，金融数据的复杂性与来源多样性，特别是数据码制的问题，使得数据处理面临一定的挑战。由于不同数据库中存储的数据的码制不同，在进行数据迁移的时候，需要进行码制转换，使得数据可以正常存储，但是，为了提高数据的可读性以及数据的便捷使用，当前的数据通常为定长数据，在对定长数据进行数据码制转换的时候，转换得到的数据可能出现缺失或是乱码的情况，进而导致数据出现错误，造成业务损失。
针对相关技术中在对定长数据进行码制转换后，完成转换的数据容易存在异常的问题，目前尚未提出有效的解决方案。
发明内容
本申请提供一种数据迁移方法、装置、存储介质以及电子设备，以解决相关技术中在对定长数据进行码制转换后，完成转换的数据容易存在异常的问题。
根据本申请的一个方面，提供了一种数据迁移方法。该方法包括：接收待迁移数据，并确定待迁移数据的编码类型，得到第一类型；确定用于存储第一类型的数据的目标转码库，将待迁移数据存储至目标转码库中的临时表中；解析临时表的表结构，并根据表结构在数据库集群中的业务库中生成业务表，其中，业务表的表结构与临时表的表结构相同，业务库与目标转码库位于同一个数据库集群，业务库用于存储第二类型的编码数据；对待迁移数据进行配置数据的解析，得到目标配置数据，并将目标配置数据存储至数据库集群中的业务库对应的外部表中；根据目标配置数据将待迁移数据转码为第二类型的编码数据，得到目标数据，并将目标数据存储至业务表中。
可选地，对待迁移数据进行配置数据的解析，得到目标配置数据，并将目标配置数据存储至数据库集群中的业务库对应的外部表中包括：解析待迁移数据的格式，得到待迁移数据的格式信息，其中，格式信息至少包括以下之一：待迁移数据的字段名、字段属性、格式、对齐方式、补位符；根据格式信息生成待迁移数据中的每个字段的配置信息，其中，配置信息中包括：字段长度、编码方式；根据配置信息和格式信息生成待迁移数据的配置文件，并将配置文件中的目标配置数据按照预设映射关系存储至外部表中，其中，预设映射关系用于表征目标配置数据的数据类型与业务库对应的数据类型之间的转换关系。
可选地，将配置文件中的目标配置数据按照预设映射关系存储至外部表中包括：确定目标配置数据的数据类型，得到目标数据类型；获取业务库的数据读取类型，并获取数据读取类型和目标数据类型之间的映射关系，得到预设映射关系；根据预设映射关系将目标配置数据的数据类型转换为数据读取类型，并将转换后的目标配置数据存储至外部表中。
可选地，根据目标配置数据将待迁移数据转码为第二类型的编码数据，得到目标数据包括：根据目标配置数据将待迁移数据拆分为多组字段数据；获取第一类型的编码数据的第一编码标准，获取第二类型的编码数据的第二编码标准，并获取第一编码标准和第二编码标准之间的转换关系；根据转换关系将每组字段数据进行转码操作，得到目标数据。
可选地，在接收待迁移数据，并确定待迁移数据的编码类型，得到第一类型之后，该方法还包括：识别待迁移数据中的编码数据，并对编码数据进行合法性校验，得到校验结果；在校验结果为正常的情况下，对数据库集群的运行环境进行检测，得到检测结果；在检测结果为正常的情况下，执行确定用于存储第一类型的数据的目标转码库，将待迁移数据存储至目标转码库中的临时表中的步骤。
可选地，解析临时表的表结构包括：对临时表的表结构进行识别，得到表结构；或者，获取待迁移数据的目标配置数据，并对目标配置数据中的字段属性进行分析，得到表结构。
可选地，在将目标数据存储至业务表中之后，该方法还包括：接收业务库发送的数据存储结果；在数据存储结果表征目标数据成功存储的情况下，删除临时表和外部表。
根据本申请的另一方面，提供了一种数据迁移装置。该装置包括：第一接收单元，用于接收待迁移数据，并确定待迁移数据的编码类型，得到第一类型；确定单元，用于确定用于存储第一类型的数据的目标转码库，将待迁移数据存储至目标转码库中的临时表中；第一解析单元，用于解析临时表的表结构，并根据表结构在数据库集群中的业务库中生成业务表，其中，业务表的表结构与临时表的表结构相同，业务库与目标转码库位于同一个数据库集群，业务库用于存储第二类型的编码数据；第二解析单元，用于对待迁移数据进行配置数据的解析，得到目标配置数据，并将目标配置数据存储至数据库集群中的业务库对应的外部表中；转码单元，用于根据目标配置数据将待迁移数据转码为第二类型的编码数据，得到目标数据，并将目标数据存储至业务表中。
根据本发明的另一方面，还提供了一种计算机存储介质，计算机存储介质用于存储程序，其中，程序运行时控制计算机存储介质所在的设备执行一种数据迁移方法。
根据本发明的另一方面，还提供了一种电子设备，包含一个或多个处理器和存储器；存储器中存储有计算机可读指令，处理器用于运行计算机可读指令，其中，计算机可读指令运行时执行一种数据迁移方法。
通过本申请，采用以下步骤：接收待迁移数据，并确定待迁移数据的编码类型，得到第一类型；确定用于存储第一类型的数据的目标转码库，将待迁移数据存储至目标转码库中的临时表中；解析临时表的表结构，并根据表结构在数据库集群中的业务库中生成业务表，其中，业务表的表结构与临时表的表结构相同，业务库与目标转码库位于同一个数据库集群，业务库用于存储第二类型的编码数据；对待迁移数据进行配置数据的解析，得到目标配置数据，并将目标配置数据存储至数据库集群中的业务库对应的外部表中；根据目标配置数据将待迁移数据转码为第二类型的编码数据，得到目标数据，并将目标数据存储至业务表中。解决了相关技术中在对定长数据进行码制转换后，完成转换的数据容易存在异常的问题。通过对待迁移数据进行配置数据的解析，得到待迁移数据的目标配置信息，并根据目标配置信息对待迁移数据进行分析，从而确定待迁移数据中的每个字段对应的配置信息，并根据配置信息执行转码操作，使得每个定长字段可以准确的被转码为业务库可读取的编码数据，并且在与业务库处于同一数据库集群中的目标转码库进行待迁移数据的存储，使得数据转码操作可以在同一个数据库集群中进行，进而达到了在数据库集群中完成数据转码操作，并且进行转码后的数据无异常的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例提供的数据迁移方法的流程图；
图2是根据本申请实施例提供的数据迁移系统的示意图；
图3是根据本申请实施例提供的数据迁移系统与外部系统连接的示意图；
图4是根据本申请实施例提供的数据迁移装置的示意图；
图5为根据本申请实施例提供的一种电子设备的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。例如，本系统和相关用户或机构间设置有接口，在获取相关信息之前，需要通过接口向前述的用户或机构发送获取请求，并在接收到前述的用户或机构反馈的同意信息后，获取相关信息。
需要说明的是，本公开所确定的数据迁移方法、装置、存储介质以及电子设备可用于大数据领域，也可用于除大数据领域之外的任意领域，本公开所确定的数据迁移方法、装置、存储介质以及电子设备的应用领域不做限定。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据，电子病历等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关规定和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
基于此，本申请希望提供一种能够解决上述技术问题的方案，其详细内容将在后续实施例中得以阐述。
为了便于描述，以下对本申请实施例涉及的部分名词或术语进行说明：
MPP架构：Massive Parallel Processing，大规模并行处理架构，它由多台服务器通过一定的节点互联网络进行连接，协同工作，完成相同的任务，从用户的角度来看是一个服务器系统，每个节点只访问自己的本地资源(内存、存储等)，是一种完全无共享(Share-Nothing)结构。
分布式数据库：分布式数据库是指在数据在物理上分布而在逻辑上集中管理的数据库系统。基于Shared-Nothing架构的PB级(一种存储量的单位)分布式数据库在金融科技领域的应用越来越广泛，其中分析型分布式数据库数据库在支撑金融业海量数据仓库、数据集市、实时分析、实时决策和混合负载等关键业务场景。
数据编码：数据编码是一种约定，定义了如何使用特定的数字或符号集来表示字符。这是计算机中处理文本数据的基础。例如：UTF-8：这是一种变长的字符编码标准，使用1到4个字节来表示每个字符。UTF-8编码的优点是可以表示Unicode标准中的任何字符，包括各种语言的字符。GBK：这是一种主要用于表示中文字符的编码标准，它使用1或2个字节来表示每个字符。GBK编码包含全部的中文字符，但对于其他语言的支持不如UTF-8。LATIN1：也称为ISO-8859-1，是一种用于表示西欧语言字符的编码标准，每个字符使用1个字节表示。
数据批量加工：数据批量加工是指对大量的数据进行统一处理的过程。这通常涉及数据导入、数据转换、数据查询和数据导出等操作。
数据并行导入：MPP分布式数据库提供并行导入客户端。并行导入功能通过外表设置的导入策略、导入数据格式等信息来识别数据源文件，利用多DN(data node，数据节点)并行的方式，将数据从数据源文件导入到数据库中，从而提高整体导入性能。
PostgreSQL外表机制：对象-关系型数据库管理系统，PostgreSQL的外表(ForeignTables)是一个可以在Postgres数据库中表示存储在外部服务器上的数据的特性。外表可以被Postgres服务器像本地表一样查询，但实际上查询的数据可以存储在任何类型的外部数据源中，例如另一个Postgres数据库，或者其他类型的数据库，甚至文件系统。
定长文件：定长文件是一种文件格式，每一条记录的长度都是固定的。这使得文件的读写操作更简单，更快速，但也需要保证所有的记录都符合预设的长度。如果记录的长度不足，可能需要使用空格或其他字符进行填充。
数据治理：数据治理是一种管理方法，其目标是确保一个组织的数据资产可被适当地使用、保护和增值。数据治理通常包括以下几个方面：数据质量管理：确保数据的准确性、完整性、一致性和可用性。数据保护：保护数据免受未授权访问和损害，包括数据安全和隐私保护。数据生命周期管理：规划和管理数据从创建到销毁的整个过程。数据策略和架构：规划数据的采集、存储、处理、分析和使用的策略和架构。
元数据：元数据是描述数据的数据，可以帮助用户理解和使用数据。元数据可以包括以下几种信息：描述性元数据：描述数据的内容和特性，例如标题、作者、关键词和摘要。结构性元数据：描述数据的结构和格式，例如数据类型、字段长度和编码方式。管理性元数据：描述数据的管理和使用情况，例如创建日期、最后修改日期、访问权限和版权信息。元数据在数据治理、数据管理、数据分析等多个领域都有重要应用。例如，通过元数据，用户可以更容易地搜索、访问、理解和利用数据。
根据本申请的实施例，提供了一种数据迁移方法。
图1是根据本申请实施例提供的数据迁移方法的流程图。如图1所示，该方法包括以下步骤：
步骤S101，接收待迁移数据，并确定待迁移数据的编码类型，得到第一类型。
具体的，在接收到待迁移数据后，由于需要判断是否需要对待迁移数据进行转码操作，因此需要先获取待迁移数据的编码类型，得到第一类型，其中，数据类型可以为数据编码类型，例如：UTF-8(Unicode Transformation Format，8位统一码转换格式)、GBK(Chinese Internal Code Specification，汉字内码扩展规范)等编码类型，从而可以根据待迁移数据的编码类型确定是否需要对待迁移数据进行转码操作。
例如，在待迁移数据的迁移目标库存储的数据的编码类型为UTF-8，并且待迁移数据的编码类型同样为UTF-8的情况下，则可以无需进行编码操作，直接将数据迁移至迁移目标库中进行存储。在待迁移数据的迁移目标库存储的数据的编码类型为GBK的情况下，需要将待迁移数据的编码类型由GBK转换为UTF-8，使得待迁移数据可以正常的存储在迁移目标库中。
步骤S102，确定用于存储第一类型的数据的目标转码库，将待迁移数据存储至目标转码库中的临时表中。
具体的，在待迁移数据需要进行数据转码的情况下，需要根据待迁移数据的编码类型将待迁移数据进行存储，使得存储在数据库集群中的待迁移数据不会发生异常，因此，需要根据待迁移数据的编码类型，也即第一类型，确定用于存储第一类型的数据的目标转码库，并在目标转码库中创建临时表，并将待迁移数据存储在临时表中，其中，由于待迁移数据为定长数据，因此，临时表中进行待迁移数据的存储的时候，需要根据待迁移数据的定长长度确定表中的每个字段的存储长度，避免在将待迁移数据存储至临时表后出现数据缺失的情况。
步骤S103，解析临时表的表结构，并根据表结构在数据库集群中的业务库中生成业务表，其中，业务表的表结构与临时表的表结构相同，业务库与目标转码库位于同一个数据库集群，业务库用于存储第二类型的编码数据。
具体的，在生成临时表，并将待迁移数据成功存储至临时表后，可根据临时表的表结构在数据库集群中的业务库中生成业务表，其中，业务表用于存储转码后的待迁移数据，从而保证业务表中的字段数与临时表的字段数相同，使得业务表一定能够存储转码后的待迁移数据中的全部字段的数据。
需要说明的是，由于不同码制下同一个数据的编码长度不同，因此，业务表中的数据存储区域的长度不能进行预设，或是设置为最大值，使得码制转换后的数据可以完整的显示在业务表中。
步骤S104，对待迁移数据进行配置数据的解析，得到目标配置数据，并将目标配置数据存储至数据库集群中的业务库对应的外部表中。
具体的，由于待迁移数据为定长数据，并且每一条记录的长度都是固定的，如果记录的长度不足，需要使用空格或其他字符进行填充，因此，在对待迁移数据中的每个字段下的数据进行转码的时候，为了保证转码后得到的数据的准确性，需要确定每条数据的信息，例如字段名、格式、对齐方式、补位符等，也即待迁移数据的目标配置数据，从而可以根据目标配置数据确定待迁移数据中哪几个字符是补位符，哪几个字符是真正需要进行转码的字符，以及每条数据对应的字段信息，进而在保证数据能够正常转码的同时，保证数据在业务库中的正确存储，提高数据存储质量。
需要说明的是，由于目标配置数据的编码类型可能与业务库中要求的编码类型不一致，因此，在存储目标配置数据的时候，可以将目标配置数据存储在与业务库对应的外部表中，外部表可以位于数据库集群中除了业务库之外的其他任意一个数据库中，从而保证目标配置数据的正常存储以及业务库对目标配置数据的正常读取。
步骤S105，根据目标配置数据将待迁移数据转码为第二类型的编码数据，得到目标数据，并将目标数据存储至业务表中。
具体的，在确定了目标配置数据后，可以根据目标配置数据确定待迁移数据中的每条数据的配置信息，并根据每条数据的配置信息将数据进行变更，例如去掉补位符等操作，并进一步将数据进行转码，得到第二类型的编码数据，从而可以依次将待迁移数据中的每条数据依次进行转码存储至业务表中，从而完成数据迁移的操作。
本申请实施例提供的数据迁移方法，通过接收待迁移数据，并确定待迁移数据的编码类型，得到第一类型；确定用于存储第一类型的数据的目标转码库，将待迁移数据存储至目标转码库中的临时表中；解析临时表的表结构，并根据表结构在数据库集群中的业务库中生成业务表，其中，业务表的表结构与临时表的表结构相同，业务库与目标转码库位于同一个数据库集群，业务库用于存储第二类型的编码数据；对待迁移数据进行配置数据的解析，得到目标配置数据，并将目标配置数据存储至数据库集群中的业务库对应的外部表中；根据目标配置数据将待迁移数据转码为第二类型的编码数据，得到目标数据，并将目标数据存储至业务表中。解决了相关技术中在对定长数据进行码制转换后，完成转换的数据容易存在异常的问题。通过对待迁移数据进行配置数据的解析，得到待迁移数据的目标配置信息，根据目标配置信息对待迁移数据进行分析，从而确定待迁移数据中的每个字段对应的配置信息，并根据配置信息执行转码操作，使得每个定长字段可以准确的被转码为业务库可读取的编码数据，并且在与业务库处于同一数据库集群中的目标转码库进行待迁移数据的存储，使得数据转码操作可以在同一个数据库集群中进行，进而达到了在数据库集群中完成数据转码操作，并且进行转码后的数据无异常的效果。
可选地，在本申请实施例提供的数据迁移方法中，对待迁移数据进行配置数据的解析，得到目标配置数据，并将目标配置数据存储至数据库集群中的业务库对应的外部表中包括：解析待迁移数据的格式，得到待迁移数据的格式信息，其中，格式信息至少包括以下之一：待迁移数据的字段名、字段属性、格式、对齐方式、补位符；根据格式信息生成待迁移数据中的每个字段的配置信息，其中，配置信息中包括：字段长度、编码方式；根据配置信息和格式信息生成待迁移数据的配置文件，并将配置文件中的目标配置数据按照预设映射关系存储至外部表中，其中，预设映射关系用于表征目标配置数据的数据类型与业务库对应的数据类型之间的转换关系。
具体的，在进行配置数据的解析的时候，首先需要解析待迁移数据的格式，得到格式信息，例如，待迁移数据中每条数据的字段名，字段属性，格式，补位符等信息，从而可以根据格式信息进一步确定每条数据真实的数据内容，也即每条数据的字段长度，例如，在待迁移数据中的A数据为“52300000”，其中，定长长度为8，A数据的后5个0均为补位符，则可以根据该数据的格式信息确定A数据的真实数据内容为523。
进一步的，由于数据库集群中的数据库可能无法直接读取和使用配置文件，因此，需要确定配置文件的数据类型，并确定业务库能够读取的数据类型，根据两个数据类型之间的预设映射关系将配置文件中的目标配置数据转换为业务库能够识别和读取的数据，从而保证数据转换的正常进行。
可选地，在本申请实施例提供的数据迁移方法中，将配置文件中的目标配置数据按照预设映射关系存储至外部表中包括：确定目标配置数据的数据类型，得到目标数据类型；获取业务库的数据读取类型，并获取数据读取类型和目标数据类型之间的映射关系，得到预设映射关系；根据预设映射关系将目标配置数据的数据类型转换为数据读取类型，并将转换后的目标配置数据存储至外部表中。
具体的，在进行数据类型转换的时候，可以先获取业务库的数据读取类型，获取目标配置数据的数据类型，根据两个数据类型之间的转换关系确定预设映射关系，并根据预设映射关系将配置文件中的目标配置数据存储至外部表中。
可选地，在本申请实施例提供的数据迁移方法中，根据目标配置数据将待迁移数据转码为第二类型的编码数据，得到目标数据包括：根据目标配置数据将待迁移数据拆分为多组字段数据；获取第一类型的编码数据的第一编码标准，获取第二类型的编码数据的第二编码标准，并获取第一编码标准和第二编码标准之间的转换关系；根据转换关系将每组字段数据进行转码操作，得到目标数据。
具体的，在进行数据转码操作的时候，可以先根据目标配置数据将待迁移数据拆分为多组字段数据，其中，每组字段数据中可能由一条或多条数据。在将待迁移数据进行拆分后，可以根据预设转码方法确定第一编码标准和第二编码标准之间的码制转换关系，并根据码制转换关系依次对每组字段数据中的每条数据进行转码操作，从而完成将待迁移数据中的数据的编码类型由第一类型转换为第二类型。
例如，在得到某条数据后，可以先通过目标配置数据确定该条数据的真实数据内容，并根据第一编码标准将该真实数据内容由第一类型转换为原始字符，并根据第二编码标准将原始字符转换为第二类型的编码数据，从而完成数据的转码操作。
可选地，在本申请实施例提供的数据迁移方法中，在接收待迁移数据，并确定待迁移数据的编码类型，得到第一类型之后，该方法还包括：识别待迁移数据中的编码数据，并对编码数据进行合法性校验，得到校验结果；在校验结果为正常的情况下，对数据库集群的运行环境进行检测，得到检测结果；在检测结果为正常的情况下，执行确定用于存储第一类型的数据的目标转码库，将待迁移数据存储至目标转码库中的临时表中的步骤。
具体的，在接收到待迁移数据后，首先需要对待迁移数据进行校验，从而确定待迁移数据能否被迁移至业务库中，在通过合法性校验后，还需要确定运行环境，保证运行环境处于正常状态，从而保证后续的转码以及迁移的操作能够正常的进行。
可选地，在本申请实施例提供的数据迁移方法中，解析临时表的表结构包括：对临时表的表结构进行识别，得到表结构；或者，获取待迁移数据的目标配置数据，并对目标配置数据中的字段属性进行分析，得到表结构。
具体的，在解析临时表的表结构的时候，可以直接对临时表的表结构进行识别，从而得到表结果，或是对目标配置数据中的字段属性进行分析，从而确定每个字段下包含的数据的条数以及数据长度等信息，从而根据字段属性确定业务表中的表结构，进而达到提高生成的业务表的准确性的效果。
可选地，在本申请实施例提供的数据迁移方法中，在将目标数据存储至业务表中之后，该方法还包括：接收业务库发送的数据存储结果；在数据存储结果表征目标数据成功存储的情况下，删除临时表和外部表。
具体的，在完成数据迁移操作后，可以将数据迁移操作中生成的临时表和外部表进行删除，从而降低数据库集群中的数据存储量，提高数据库集群的运行性能。
根据本申请的实施例，提供了一种可选的数据迁移方法：
步骤1：初始化配置阶段：由数据平台在MPP分布式数据库上创建一个新的database实例，称为“中间转码库”。该库使用GBK码制编码，仅用于GBK编码数据加载。在没有批量导入作业时，这个库应当没有任何数据。创建语法例如：
CREATE DATABASE gbkdb ENCODING'GBK'template＝template0 OWNER admin；
随后，数据平台在UTF8业务库中创建指向GBK中间转码库的server,address参数为GBK编码业务库的IP和端口。创建语法例如：
已创建的database实例、server可以重复使用。
步骤2：分析阶段：由数据应用在研发测试阶段对待导入的待迁移数据进行解析。得到GBK编码的定长格式文件的配置信息(文件名可以设置为gbk_fixed.txt)，包括数据的字段名、格式、对齐方式、补位符等，基于该分析结果，生成一个详细描述待迁移数据中每个字段长度和编码方式的配置文件，命名例如gbk_fixed.json。
步骤3：定长入库阶段：由数据应用通过大数据调度平台，配置批量加工作业，利用GBK中间转码库，使用分布式数据服务客户端，通过设置外表所映射文件的编码格式，将GBK编码的定长数据导入至一个临时表，表名例如t1_mid_gbk。
步骤4：跨实例转码拉取阶段：由数据应用通过大数据调度平台，配置批量加工作业，在UTF8编码业务库中，利用Postgres的外表机制创建一个GBK编码的外部表，命名例如：f_t1_from_gbk_2_utf8，并加载分析阶段的gbk_fixed.json文件的字段属性，在外部表配置中声明源表及目标表的表结构，并将配置信息添加至外部表中，将外部表映射到同一集群的GBK中间转码库的临时表(t1_mid_gbk)。代码例如：
并根据映射关系将外部表中的配置数据对临时表中的待迁移数据进行转码操作，并将转码得到的结果存储至业务库中的业务表中，最终能够实现在同一个集群内通过外表的方式将数据从GBK编码的库跨库拉取到UTF8业务库内的业务表，例如t1_utf8。代码例如：
insert into t1_utf8 select*from f_t1_from_gbk_2_utf8；
步骤5：清理阶段：数据平台的清理服务执行清理操作，清理数据加载服务器上的临时文件，删除中间转码库中的临时表和相关临时对象，同时在UTF-8业务库中删除GBK码制的外部表，从而完成待迁移数据的数据转码和数据迁移操作。
在本实施例中，图2是根据本申请实施例提供的数据迁移系统的示意图，如图2所示，以一种可选的数据迁移系统为执行主体执行前述的数据迁移方法，该数据迁移系统至少包括：
总控1：用于提供总体流程控制等功能，由总控1串联的配置参数管理单元2、任务调度单元5组成本工具的两个核心模块，每个模块之间是松耦合的，业务实现模块和参数配置管理模块相分离，可提升运维部署和用户开发的效率。
配置管理单元2：由参数解析模块3、环境检查模块4组成，对输入参数进行合法性校验、对必要配置参数进行加载、对环境可用性进行预检查，如前置校验流程通过、所有配置参数加载完成，则将信号发送给总控1，表示管理工具已进入运行态。
参数解析模块3，用于对输入参数进行合法性校验、对必要配置参数进行加载。
环境检查模块4：用于对环境可用性进行预检查。
任务调度单元5：用于由数据文件码制解析模块6、数据文件处理SQL语句预处理模块7、数据文件处理命令执行模块8组成，是本系统与数据库集群、资源调度系统交互的核心模块。
数据文件码制解析模块6：用于执行码制转换的业务逻辑实现。
数据文件处理SQL语句预处理模块7：用于将传入参数、配置信息、模板化的文件导入或查询导出语句进行拼接。
数据文件处理命令执行模块8：用于与分布式数据库集群、数据加载服务器进行交互。
图3是根据本申请实施例提供的数据迁移系统与外部系统连接的示意图，如图3所示，包括：大数据服务平台系统9、统一调度服务系统10、数据迁移系统11、数据文件中转服务器12、分布式数据库集群13、分布式数据库协调节点14、分布式数据库数据节点15。
其中，本申请中的数据迁移系统及其连接的外部系统均包含于大数据服务平台系统9，用于对外提供大数据加工、处理和查询服务。
统一调度服务系统10，用于对大数据平台用户提供底层数据源的数据导入、加工梳理、导出的分布式工作流调度系统，由数据开发工程师根据业务需求编排加工作业。
数据迁移系统11，在大数据服务平台系统中用于专门处理用户通过统一调度服务系统10提交的数据导入，与底层大数据分布式数据库集群13、数据文件中转服务器12等模块直接连接，提供数据文件分布式导入集群等功能。
数据文件中转服务器12，也即数据文件导入导出中转服务器，其上部署数据服务进程，用于存放待导入的数据文件，每一个数据中转服务器都是大数据平台调度服务的一部分，每个节点都是无状态的，可互为备份。当作业调度系统的数据文件处理能力达到瓶颈时，可通过扩展数据文件中转服务器个数对系统的性能容量进行扩容。
分布式数据库集群13，基于MPP架构的若干个分布式数据库集群，可为数据密集型应用提供高性能数据处理能力。由于应用的业务领域有区别，在实际应用中不同分布式数据库集群存在集群规模、版本、接口的差异，数据迁移系统11通过配置方式兼容技术上的差异，对数据库用户暴露统一接口、统一部署和统一运维的服务。
单个分布式数据库集群13内包含：分布式数据库集群协调节点14、分布式数据库数据节点15，其中，分布式数据库集群协调节点14用于接收、处理来自数据迁移系统11提交的数据文件处理SQL指令，并将数据文件处理的命令下发至数据所在的文件中转节点，由分布式数据库数据节点15通过并行导出服务将数据文件高效地传输、落盘至数据文件中转服务器12，从而完整整个数据迁移以及数据处理操作，进而达到了能够处理GBK编码的定长数据文件，并将其有效地导入使用UTF8编码的MPP分布式数据库得到效果。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种数据迁移装置，需要说明的是，本申请实施例的数据迁移装置可以用于执行本申请实施例所提供的用于数据迁移方法。以下对本申请实施例提供的数据迁移装置进行介绍。
图4是根据本申请实施例提供的数据迁移装置的示意图。如图4所示，该装置包括：第一接收单元41，确定单元42，第一解析单元43，第二解析单元44，转码单元45。
第一接收单元41，用于接收待迁移数据，并确定待迁移数据的编码类型，得到第一类型。
确定单元42，用于确定用于存储第一类型的数据的目标转码库，将待迁移数据存储至目标转码库中的临时表中。
第一解析单元43，用于解析临时表的表结构，并根据表结构在数据库集群中的业务库中生成业务表，其中，业务表的表结构与临时表的表结构相同，业务库与目标转码库位于同一个数据库集群，业务库用于存储第二类型的编码数据。
第二解析单元44，用于对待迁移数据进行配置数据的解析，得到目标配置数据，并将目标配置数据存储至数据库集群中的业务库对应的外部表中。
转码单元45，用于根据目标配置数据将待迁移数据转码为第二类型的编码数据，得到目标数据，并将目标数据存储至业务表中。
本申请实施例提供的数据迁移装置，通过第一接收单元41接收待迁移数据，并确定待迁移数据的编码类型，得到第一类型；确定单元42确定用于存储第一类型的数据的目标转码库，将待迁移数据存储至目标转码库中的临时表中；第一解析单元43解析临时表的表结构，并根据表结构在数据库集群中的业务库中生成业务表，其中，业务表的表结构与临时表的表结构相同，业务库与目标转码库位于同一个数据库集群，业务库用于存储第二类型的编码数据；第二解析单元44对待迁移数据进行配置数据的解析，得到目标配置数据，并将目标配置数据存储至数据库集群中的业务库对应的外部表中；转码单元45根据目标配置数据将待迁移数据转码为第二类型的编码数据，得到目标数据，并将目标数据存储至业务表中。解决了相关技术中在对定长数据进行码制转换后，完成转换的数据容易存在异常的问题，通过对待迁移数据进行配置数据的解析，得到待迁移数据的目标配置信息，并根据目标配置信息对待迁移数据进行分析，从而确定待迁移数据中的每个字段对应的配置信息，并根据配置信息执行转码操作，使得每个定长字段可以准确的被转码为业务库可读取的编码数据，并且在与业务库处于同一数据库集群中的目标转码库进行待迁移数据的存储，使得数据转码操作可以在同一个数据库集群中进行，进而达到了在数据库集群中完成数据转码操作，并且进行转码后的数据无异常的效果。
可选地，在本申请实施例提供的数据迁移装置中，第二解析单元44包括：解析模块，用于解析待迁移数据的格式，得到待迁移数据的格式信息，其中，格式信息至少包括以下之一：待迁移数据的字段名、字段属性、格式、对齐方式、补位符；生成模块，用于根据格式信息生成待迁移数据中的每个字段的配置信息，其中，配置信息中包括：字段长度、编码方式；存储模块，用于根据配置信息和格式信息生成待迁移数据的配置文件，并将配置文件中的目标配置数据按照预设映射关系存储至外部表中，其中，预设映射关系用于表征目标配置数据的数据类型与业务库对应的数据类型之间的转换关系。
可选地，在本申请实施例提供的数据迁移装置中，第一存储模块中包括：确定子模块，用于确定目标配置数据的数据类型，得到目标数据类型；获取子模块，用于获取业务库的数据读取类型，并获取数据读取类型和目标数据类型之间的映射关系，得到预设映射关系；存储子模块，用于根据预设映射关系将目标配置数据的数据类型转换为数据读取类型，并将转换后的目标配置数据存储至外部表中。
可选地，在本申请实施例提供的数据迁移装置中，转码单元45包括：拆分模块，用于根据目标配置数据将待迁移数据拆分为多组字段数据；获取模块，用于获取第一类型的编码数据的第一编码标准，获取第二类型的编码数据的第二编码标准，并获取第一编码标准和第二编码标准之间的转换关系；转码模块，用于根据转换关系将每组字段数据进行转码操作，得到目标数据。
可选地，在本申请实施例提供的数据迁移装置中，该装置还包括：识别单元，用于识别待迁移数据中的编码数据，并对编码数据进行合法性校验，得到校验结果；检测单元，用于在校验结果为正常的情况下，对数据库集群的运行环境进行检测，得到检测结果；执行单元，用于在检测结果为正常的情况下，执行确定用于存储第一类型的数据的目标转码库，将待迁移数据存储至目标转码库中的临时表中的步骤。
可选地，在本申请实施例提供的数据迁移装置中，第一解析单元43包括：识别模块，用于对临时表的表结构进行识别，得到表结构；或者，分析模块，用于获取待迁移数据的目标配置数据，并对目标配置数据中的字段属性进行分析，得到表结构。
可选地，在本申请实施例提供的数据迁移装置中，该装置还包括：第二接收单元，用于接收业务库发送的数据存储结果；删除单元，用于在数据存储结果表征目标数据成功存储的情况下，删除临时表和外部表。
上述数据迁移装置包括处理器和存储器，上述第一接收单元41，确定单元42，第一解析单元43，第二解析单元44，转码单元45等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决了相关技术中在对定长数据进行码制转换后，完成转换的数据容易存在异常的问题。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现所述数据迁移方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述数据迁移方法。
如图5所示，本发明实施例提供了一种电子设备，电子设备50包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现上述数据迁移方法的步骤。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有上述数据迁移方法的步骤的程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种数据迁移方法，其特征在于，包括：
接收待迁移数据，并确定所述待迁移数据的编码类型，得到第一类型；
确定用于存储所述第一类型的数据的目标转码库，将所述待迁移数据存储至所述目标转码库中的临时表中；
解析所述临时表的表结构，并根据所述表结构在数据库集群中的业务库中生成业务表，其中，所述业务表的表结构与所述临时表的表结构相同，所述业务库与所述目标转码库位于同一个数据库集群，所述业务库用于存储第二类型的编码数据；
对所述待迁移数据进行配置数据的解析，得到目标配置数据，并将所述目标配置数据存储至所述数据库集群中的业务库对应的外部表中；
根据所述目标配置数据将所述待迁移数据转码为所述第二类型的编码数据，得到目标数据，并将所述目标数据存储至所述业务表中。
2.根据权利要求1所述的方法，其特征在于，对所述待迁移数据进行配置数据的解析，得到目标配置数据，并将所述目标配置数据存储至所述数据库集群中的业务库对应的外部表中包括：
解析所述待迁移数据的格式，得到所述待迁移数据的格式信息，其中，所述格式信息至少包括以下之一：待迁移数据的字段名、字段属性、格式、对齐方式、补位符；
根据所述格式信息生成所述待迁移数据中的每个字段的配置信息，其中，所述配置信息中包括：字段长度、编码方式；
根据所述配置信息和所述格式信息生成所述待迁移数据的配置文件，并将所述配置文件中的所述目标配置数据按照预设映射关系存储至所述外部表中，其中，所述预设映射关系用于表征所述目标配置数据的数据类型与所述业务库对应的数据类型之间的转换关系。
3.根据权利要求2所述的方法，其特征在于，将所述配置文件中的所述目标配置数据按照预设映射关系存储至所述外部表中包括：
确定所述目标配置数据的数据类型，得到目标数据类型；
获取所述业务库的数据读取类型，并获取所述数据读取类型和所述目标数据类型之间的映射关系，得到所述预设映射关系；
根据所述预设映射关系将所述目标配置数据的数据类型转换为所述数据读取类型，并将转换后的目标配置数据存储至所述外部表中。
4.根据权利要求1所述的方法，其特征在于，根据所述目标配置数据将所述待迁移数据转码为所述第二类型的编码数据，得到目标数据包括：
根据所述目标配置数据将所述待迁移数据拆分为多组字段数据；
获取所述第一类型的编码数据的第一编码标准，获取所述第二类型的编码数据的第二编码标准，并获取所述第一编码标准和所述第二编码标准之间的转换关系；
根据所述转换关系将每组字段数据进行转码操作，得到所述目标数据。
5.根据权利要求1所述的方法，其特征在于，在接收待迁移数据，并确定所述待迁移数据的编码类型，得到第一类型之后，所述方法还包括：
识别所述待迁移数据中的编码数据，并对所述编码数据进行合法性校验，得到校验结果；
在所述校验结果为正常的情况下，对所述数据库集群的运行环境进行检测，得到检测结果；
在所述检测结果为正常的情况下，执行所述确定用于存储所述第一类型的数据的目标转码库，将所述待迁移数据存储至所述目标转码库中的临时表中的步骤。
6.根据权利要求1所述的方法，其特征在于，解析所述临时表的表结构包括：
对所述临时表的表结构进行识别，得到所述表结构；或者，
获取所述待迁移数据的所述目标配置数据，并对所述目标配置数据中的字段属性进行分析，得到所述表结构。
7.根据权利要求2所述的方法，其特征在于，在将所述目标数据存储至所述业务表中之后，所述方法还包括：
接收所述业务库发送的数据存储结果；
在所述数据存储结果表征所述目标数据成功存储的情况下，删除所述临时表和所述外部表。
8.一种数据迁移装置，其特征在于，包括：
第一接收单元，用于接收待迁移数据，并确定所述待迁移数据的编码类型，得到第一类型；
确定单元，用于确定用于存储所述第一类型的数据的目标转码库，将所述待迁移数据存储至所述目标转码库中的临时表中；
第一解析单元，用于解析所述临时表的表结构，并根据所述表结构在数据库集群中的业务库中生成业务表，其中，所述业务表的表结构与所述临时表的表结构相同，所述业务库与所述目标转码库位于同一个数据库集群，所述业务库用于存储第二类型的编码数据；
第二解析单元，用于对所述待迁移数据进行配置数据的解析，得到目标配置数据，并将所述目标配置数据存储至所述数据库集群中的业务库对应的外部表中；
转码单元，用于根据所述目标配置数据将所述待迁移数据转码为所述第二类型的编码数据，得到目标数据，并将所述目标数据存储至所述业务表中。
9.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序，其中，所述程序运行时控制所述计算机存储介质所在的设备执行权利要求1至7中任意一项所述的数据迁移方法。
10.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任意一项所述的数据迁移方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311337535.3A CN117271478A (zh) | 2023-10-16 | 2023-10-16 | 数据迁移方法、装置、存储介质以及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311337535.3A CN117271478A (zh) | 2023-10-16 | 2023-10-16 | 数据迁移方法、装置、存储介质以及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117271478A true CN117271478A (zh) | 2023-12-22 |
Family
ID=89204588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311337535.3A Pending CN117271478A (zh) | 2023-10-16 | 2023-10-16 | 数据迁移方法、装置、存储介质以及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117271478A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117892702A (zh) * | 2024-01-22 | 2024-04-16 | 海通证券股份有限公司 | 行情信息的导入方法、装置和电子设备 |
-
2023
- 2023-10-16 CN CN202311337535.3A patent/CN117271478A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117892702A (zh) * | 2024-01-22 | 2024-04-16 | 海通证券股份有限公司 | 行情信息的导入方法、装置和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11544623B2 (en) | Consistent filtering of machine learning data | |
| CN111367886B (zh) | 数据库中数据迁移的方法及装置 | |
| US10366053B1 (en) | Consistent randomized record-level splitting of machine learning data | |
| KR101755365B1 (ko) | 레코드 포맷 정보의 관리 | |
| US8768880B2 (en) | Automated data analysis and transformation | |
| US9104720B2 (en) | Generation of technical description of report from functional description of report | |
| CN107122296B (zh) | 用于测试接口的数据断言的方法及设备 | |
| US20180173795A1 (en) | Automatic ontology generation | |
| US9952835B2 (en) | Generation of hybrid enterprise mobile applications in cloud environment | |
| CN110825385B (zh) | React Native离线包的构建方法及存储介质 | |
| CN110673839B (zh) | 分布式工具配置化构建生成方法及系统 | |
| CN110020358B (zh) | 用于生成动态页面的方法和装置 | |
| CN113326247B (zh) | 云端数据的迁移方法、装置及电子设备 | |
| Qureshi et al. | Towards efficient big data and data analytics: a review | |
| US10171311B2 (en) | Generating synthetic data | |
| CN117271478A (zh) | 数据迁移方法、装置、存储介质以及电子设备 | |
| CN114297204A (zh) | 一种异构数据源的数据存储、检索方法及装置 | |
| CN117171108B (zh) | 一种虚拟模型映射方法和系统 | |
| CN114490641A (zh) | 一种工业互联网数据的共享方法、设备及介质 | |
| CN116450107B (zh) | 低代码平台二次开发软件的方法、装置、电子设备 | |
| WO2023123287A1 (zh) | 分子数据存储方法及装置、应用方法及装置 | |
| CN116069725A (zh) | 文件迁移方法、装置、设备、介质和程序产品 | |
| CN111078905A (zh) | 一种数据处理方法、装置、介质以及设备 | |
| US20230086564A1 (en) | System and method for automatic discovery of candidate application programming interfaces and dependencies to be published | |
| Wehrle et al. | Are Research Datasets FAIR in the Long Run? |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |