CN116186130A - 一种MySQL协议数据库的数据导入导出方法及系统 - Google Patents

一种MySQL协议数据库的数据导入导出方法及系统 Download PDF

Info

Publication number
CN116186130A
CN116186130A CN202211672100.XA CN202211672100A CN116186130A CN 116186130 A CN116186130 A CN 116186130A CN 202211672100 A CN202211672100 A CN 202211672100A CN 116186130 A CN116186130 A CN 116186130A
Authority
CN
China
Prior art keywords
data
protocol database
file
distributed
mysql protocol
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211672100.XA
Other languages
English (en)
Other versions
CN116186130B (zh
Inventor
娄帅
卢浩
郑超
张文凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Great Opensource Software Co ltd
Original Assignee
Beijing Great Opensource Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Great Opensource Software Co ltd filed Critical Beijing Great Opensource Software Co ltd
Priority to CN202211672100.XA priority Critical patent/CN116186130B/zh
Publication of CN116186130A publication Critical patent/CN116186130A/zh
Application granted granted Critical
Publication of CN116186130B publication Critical patent/CN116186130B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种MySQL协议数据库的数据导入导出方法及系统，包括：对分布式MySQL协议数据库的数据源进行预处理操作，获取具有类型之间映射关系的目的数据源；用户向分布式MySQL协议数据库发送数据导入请求，分布式MySQL协议数据库响应请求，调取待导入的数据后将数据导入MySQL协议数据库；用户向分布式MySQL协议数据库发送数据导出请求，分布式MySQL协议数据库响应请求，调取待导出的数据后将数据导出MySQL协议数据库。MySQL协议数据库的数据是数据库能正常运行和使用的基础，通过为MySQL协议数据库中多种数据导入及导出提供实施途径，使得数据库使用更加便捷和有效。

Description

一种MySQL协议数据库的数据导入导出方法及系统
技术领域
本发明涉及数据导入导出技术领域，尤其涉及一种MySQL协议数据库的数据导入导出方法及系统。
背景技术
随着当今社会发展，数据已不可避免地融入了整个社会的方方面面。目前，如何将数据进行有序管理、高效运行、安全存储等问题成了首要任务，要解决上述问题则离不开数据库技术的支持和发展。MySQL是一种关系数据库管理系统，具有高性能、小体积、可移植性与易用性等特征，被广泛应用到各个邻域。
MySQL协议数据库的数据管理系统主要目的是有效管理和使用数据，那么数据就成为数据库管理系统的基础与核心，如果直接能将已有数据导入数据库，或者将数据从数据库导出，将能更好地运用数据库。
发明内容
本发明提供了一种MySQL协议数据库的数据导入导出方法及系统，以解决现有技术中存在的随着当今社会发展，数据已不可避免地融入了整个社会的方方面面。目前，如何将数据进行有序管理、高效运行、安全存储等问题成了首要任务，要解决上述问题则离不开数据库技术的支持和发展。MySQL是一种关系数据库管理系统，具有高性能、小体积、可移植性与易用性等特征，被广泛应用到各个邻域。MySQL协议数据库的数据管理系统主要目的是有效管理和使用数据，那么数据就成为数据库管理系统的基础与核心，如果直接能将已有数据导入数据库，或者将数据从数据库导出，将能更好地运用数据库的上述问题。
为了达到上述目的，本发明提供如下技术方案：
一种MySQL协议数据库的数据导入导出方法，包括：
S101：对分布式MySQL协议数据库的数据源进行预处理操作，获取具有类型之间映射关系的目的数据源；
S102：用户向分布式MySQL协议数据库发送数据导入请求，分布式MySQL协议数据库响应请求，调取待导入的数据后将数据导入MySQL协议数据库；
S103：用户向分布式MySQL协议数据库发送数据导出请求，分布式MySQL协议数据库响应请求，调取待导出的数据后将数据导出MySQL协议数据库。
其中，所述S101步骤包括：
S1011：将分布式MySQL协议数据库的数据源进行初始化操作，将初始数据源与目的数据源进行连接；
S1012：通过相关的ODBC API函数读取初始数据源的元数据信息，驱动程序通过数据源数据类型与ODBC SOL类型之间构成对于的映射关系，从映射关系找出源数据源与目的数据源类型的对应关系，生成目标表的结构信息；
S1013：基于目标表的结构信息，构建目标表结构，逐行读取源表记录，调用Insert语句，写入分布式MySQL协议数据库的表中。
其中，所述S102步骤包括：
S1021：根据用户发送数据导入请求，分布式MySQL协议数据库读取本地配置文件，读取系统状态文件目录；
S1022：读取数据指标参数配置文件，加载目标指标参数模式，读取系统状态文件，遍历文件并匹配指标参数模式，提取符合指标参数模式的信息串并存储到内存中，直到系统状态文件中的所有的MySQL数据库实例的参数都获取完毕；
S1023：将内存中的参数信息存储到数据文件中，再将需要导入的数据文件选择对于的导入方式，通过输入对应的参数信息获取导入的数据。
其中，所述S103步骤包括：
S1031：用户向分布式MySQL协议数据库发出导出请求，分布式MySQL协议数据库向导出端发起一个数据导出的RPC调用；
S1032：导出端从分布式MySQL协议数据库中分片获取数据，分片数据分别在文件系统进行组合，在文件系统中组合为CSV文件；
S1033：CSV文件从文件系统中导出，用户获取从分布式MySQL协议数据库导出的数据。
其中，所述S1032步骤包括：
将需要导出的数据按照固定的分片大小进行分配，获取生成子任务；向分布式MySQL协议数据库中的集群分发子任务，若集群的任务数据达到上限则将数据缓存在阻塞队列中；所有子任务执行完毕后再文件系统中组装数据分片，生成文件，当前的主任务则进行任务更新操作，获取文件下载链接，通过文件下载链接将文件进行导出操作。
一种MySQL协议数据库的数据导入导出系统，包括：
数据预处理单元用于对分布式MySQL协议数据库的数据源进行预处理操作，获取具有类型之间映射关系的目的数据源；
数据导入单元用于用户向分布式MySQL协议数据库发送数据导入请求，分布式MySQL协议数据库响应请求，调取待导入的数据后将数据导入MySQL协议数据库；
数据导出单元用于用户向分布式MySQL协议数据库发送数据导出请求，分布式MySQL协议数据库响应请求，调取待导出的数据后将数据导出MySQL协议数据库。
其中，所述数据预处理单元包括：
初始化操作子单元用于将分布式MySQL协议数据库的数据源进行初始化操作，将初始数据源与目的数据源进行连接；
构建映射关系子单元用于通过相关的ODBC API函数读取初始数据源的元数据信息，驱动程序通过数据源数据类型与ODBC SOL类型之间构成对于的映射关系，从映射关系找出源数据源与目的数据源类型的对应关系，生成目标表的结构信息；
构建目标表结构子单元用于基于目标表的结构信息，构建目标表结构，逐行读取源表记录，调用Insert语句，写入分布式MySQL协议数据库的表中。
其中，所述数据导入单元包括：
数据导入第一子单元用于根据用户发送数据导入请求，分布式MySQL协议数据库读取本地配置文件，读取系统状态文件目录；
数据导入第二子单元用于读取数据指标参数配置文件，加载目标指标参数模式，读取系统状态文件，遍历文件并匹配指标参数模式，提取符合指标参数模式的信息串并存储到内存中，直到系统状态文件中的所有的MySQL数据库实例的参数都获取完毕；
数据导入第三子单元用于将内存中的参数信息存储到数据文件中，再将需要导入的数据文件选择对于的导入方式，通过输入对应的参数信息获取导入的数据。
其中，所述数据导出单元包括：
数据导出第一子单元用于用户向分布式MySQL协议数据库发出导出请求，分布式MySQL协议数据库向导出端发起一个数据导出的RPC调用；
数据导出第二子单元用于导出端从分布式MySQL协议数据库中分片获取数据，分片数据分别在文件系统进行组合，在文件系统中组合为CSV文件；
数据导出第三子单元CSV文件从文件系统中导出，用户获取从分布式MySQL协议数据库导出的数据。
其中，所述数据导出第二子单元包括：
将需要导出的数据按照固定的分片大小进行分配，获取生成子任务；向分布式MySQL协议数据库中的集群分发子任务，若集群的任务数据达到上限则将数据缓存在阻塞队列中；所有子任务执行完毕后再文件系统中组装数据分片，生成文件，当前的主任务则进行任务更新操作，获取文件下载链接，通过文件下载链接将文件进行导出操作。
与现有技术相比，本发明具有以下优点：
一种MySQL协议数据库的数据导入导出方法，包括：对分布式MySQL协议数据库的数据源进行预处理操作，获取具有类型之间映射关系的目的数据源；用户向分布式MySQL协议数据库发送数据导入请求，分布式MySQL协议数据库响应请求，调取待导入的数据后将数据导入MySQL协议数据库；用户向分布式MySQL协议数据库发送数据导出请求，分布式MySQL协议数据库响应请求，调取待导出的数据后将数据导出MySQL协议数据库。MySQL协议数据库的数据是数据库能正常运行和使用的基础，通过为MySQL协议数据库中多种数据导入及导出提供实施途径，使得数据库使用更加便捷和有效。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种MySQL协议数据库的数据导入导出方法的流程图；
图2为本发明实施例中数据预处理的流程图；
图3为本发明实施例中数据导入的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供了一种MySQL协议数据库的数据导入导出方法，包括：
S101：对分布式MySQL协议数据库的数据源进行预处理操作，获取具有类型之间映射关系的目的数据源；
S102：用户向分布式MySQL协议数据库发送数据导入请求，分布式MySQL协议数据库响应请求，调取待导入的数据后将数据导入MySQL协议数据库；
S103：用户向分布式MySQL协议数据库发送数据导出请求，分布式MySQL协议数据库响应请求，调取待导出的数据后将数据导出MySQL协议数据库。
上述技术方案的工作原理为：对分布式MySQL协议数据库的数据源进行预处理操作，获取具有类型之间映射关系的目的数据源；用户向分布式MySQL协议数据库发送数据导入请求，分布式MySQL协议数据库响应请求，调取待导入的数据后将数据导入MySQL协议数据库；用户向分布式MySQL协议数据库发送数据导出请求，分布式MySQL协议数据库响应请求，调取待导出的数据后将数据导出MySQL协议数据库。MySQL协议数据库的数据是数据库能正常运行和使用的基础，通过为MySQL协议数据库中多种数据导入及导出提供实施途径，使得数据库使用更加便捷和有效。
其中，在使用MySQL数据库对数据进行管理和运用之前，其首要任务是数据库中要有相关的数据，通过对数据进行导入导出操作，实现在不同的数据源和目标之间的复制数据，数据导入的方式包括：将Excel数据表导入MySQL数据库、通过数据还原方法将数据导入MySQL数据库、通过WorkBench将数据导入MySQL数据库、通过WorkBench将SQL语句导入MySQL数据库；在通过MySQL数据库生成的数据库、数据表、索引、视图，以及各种查询结果常常需要保存起来，这时候就需要将数据导出MySQL数据库，数据导出的方式包括：将SQL语句和查询结果的保存、通过数据备份方法将数据导出MySQL数据库、通过WorkBench将数据导出。
上述技术方案的有益效果为：对分布式MySQL协议数据库的数据源进行预处理操作，获取具有类型之间映射关系的目的数据源；用户向分布式MySQL协议数据库发送数据导入请求，分布式MySQL协议数据库响应请求，调取待导入的数据后将数据导入MySQL协议数据库；用户向分布式MySQL协议数据库发送数据导出请求，分布式MySQL协议数据库响应请求，调取待导出的数据后将数据导出MySQL协议数据库。MySQL协议数据库的数据是数据库能正常运行和使用的基础，通过为MySQL协议数据库中多种数据导入及导出提供实施途径，使得数据库使用更加便捷和有效。
在另一实施例中，所述S101步骤包括：
S1011：将分布式MySQL协议数据库的数据源进行初始化操作，将初始数据源与目的数据源进行连接；
S1012：通过相关的ODBC API函数读取初始数据源的元数据信息，驱动程序通过数据源数据类型与ODBC SOL类型之间构成对于的映射关系，从映射关系找出源数据源与目的数据源类型的对应关系，生成目标表的结构信息；
S1013：基于目标表的结构信息，构建目标表结构，逐行读取源表记录，调用Insert语句，写入分布式MySQL协议数据库的表中。
上述技术方案的工作原理为：将分布式MySQL协议数据库的数据源进行初始化操作，将初始数据源与目的数据源进行连接；通过相关的ODBC API函数读取初始数据源的元数据信息，驱动程序通过数据源数据类型与ODBC SOL类型之间构成对于的映射关系，从映射关系找出源数据源与目的数据源类型的对应关系，生成目标表的结构信息；基于目标表的结构信息，构建目标表结构，逐行读取源表记录，调用Insert语句，写入分布式MySQL协议数据库的表中。
上述技术方案的有益效果为：将分布式MySQL协议数据库的数据源进行初始化操作，将初始数据源与目的数据源进行连接；通过相关的ODBC API函数读取初始数据源的元数据信息，驱动程序通过数据源数据类型与ODBC SOL类型之间构成对于的映射关系，从映射关系找出源数据源与目的数据源类型的对应关系，生成目标表的结构信息；基于目标表的结构信息，构建目标表结构，逐行读取源表记录，调用Insert语句，写入分布式MySQL协议数据库的表中。MySQL协议数据库的数据是数据库能正常运行和使用的基础，通过为MySQL协议数据库中多种数据导入及导出提供实施途径，使得数据库使用更加便捷和有效。
在另一实施例中，所述S102步骤包括：
S1021：根据用户发送数据导入请求，分布式MySQL协议数据库读取本地配置文件，读取系统状态文件目录；
S1022：读取数据指标参数配置文件，加载目标指标参数模式，读取系统状态文件，遍历文件并匹配指标参数模式，提取符合指标参数模式的信息串并存储到内存中，直到系统状态文件中的所有的MySQL数据库实例的参数都获取完毕；
S1023：将内存中的参数信息存储到数据文件中，再将需要导入的数据文件选择对于的导入方式，通过输入对应的参数信息获取导入的数据。
上述技术方案的工作原理为：根据用户发送数据导入请求，分布式MySQL协议数据库读取本地配置文件，读取系统状态文件目录；读取数据指标参数配置文件，加载目标指标参数模式，读取系统状态文件，遍历文件并匹配指标参数模式，提取符合指标参数模式的信息串并存储到内存中，直到系统状态文件中的所有的MySQL数据库实例的参数都获取完毕；将内存中的参数信息存储到数据文件中，再将需要导入的数据文件选择对于的导入方式，通过输入对应的参数信息获取导入的数据。
其中，数据预处理是对导入到平台的数据进行一定程度的预处理功能。包括抽样，汇总等功能。同时数据预处理流程能够进行多种操作，包括增删改查，流程发布，定时执行，增量执行等。
上述技术方案的有益效果为：根据用户发送数据导入请求，分布式MySQL协议数据库读取本地配置文件，读取系统状态文件目录；读取数据指标参数配置文件，加载目标指标参数模式，读取系统状态文件，遍历文件并匹配指标参数模式，提取符合指标参数模式的信息串并存储到内存中，直到系统状态文件中的所有的MySQL数据库实例的参数都获取完毕；将内存中的参数信息存储到数据文件中，再将需要导入的数据文件选择对于的导入方式，通过输入对应的参数信息获取导入的数据。
在另一实施例中，所述S103步骤包括：
S1031：用户向分布式MySQL协议数据库发出导出请求，分布式MySQL协议数据库向导出端发起一个数据导出的RPC调用；
S1032：导出端从分布式MySQL协议数据库中分片获取数据，分片数据分别在文件系统进行组合，在文件系统中组合为CSV文件；
S1033：CSV文件从文件系统中导出，用户获取从分布式MySQL协议数据库导出的数据。
上述技术方案的工作原理为：用户向分布式MySQL协议数据库发出导出请求，分布式MySQL协议数据库向导出端发起一个数据导出的RPC调用；导出端从分布式MySQL协议数据库中分片获取数据，分片数据分别在文件系统进行组合，在文件系统中组合为CSV文件；CSV文件从文件系统中导出，用户获取从分布式MySQL协议数据库导出的数据。
其中，导入和导出的过程的许多方面都可以被个性化定制，用户可以控制数据库表中需要导入的具体行和列，也可以指定文件的格式、列的分隔符和导入到文件后需要过滤的字符；
导入过程的输入是一个数据库表，Sqoop将会从表中一行一行的读入到HDFS，导入过程的输出是一组包含被导入表数据的文件，因为导入过程是并行的，所以将会产生多个输出文件，这些文件可以是文本文件，文件中每一行对应一条数据库表中的记录，记录中每个域之间通过逗号或\t分割，也可以是二进制的Avro，或包含序列化的数据的序列化文件。在对导入的记录使用MapReduce或Hive等计算完后，可以将计算结果导回关系型数据库。Sqoop的导出过程将会并行的从HDFS中读取一组文本文件，解析为记录，并插入到数据库表中，供其他业务或用户使用。
上述技术方案的有益效果为：用户向分布式MySQL协议数据库发出导出请求，分布式MySQL协议数据库向导出端发起一个数据导出的RPC调用；导出端从分布式MySQL协议数据库中分片获取数据，分片数据分别在文件系统进行组合，在文件系统中组合为CSV文件；CSV文件从文件系统中导出，用户获取从分布式MySQL协议数据库导出的数据。
在另一实施例中，所述S1032步骤包括：
将需要导出的数据按照固定的分片大小进行分配，获取生成子任务；向分布式MySQL协议数据库中的集群分发子任务，若集群的任务数据达到上限则将数据缓存在阻塞队列中；所有子任务执行完毕后再文件系统中组装数据分片，生成文件，当前的主任务则进行任务更新操作，获取文件下载链接，通过文件下载链接将文件进行导出操作。
上述技术方案的工作原理为：将需要导出的数据按照固定的分片大小进行分配，获取生成子任务；向分布式MySQL协议数据库中的集群分发子任务，若集群的任务数据达到上限则将数据缓存在阻塞队列中；所有子任务执行完毕后再文件系统中组装数据分片，生成文件，当前的主任务则进行任务更新操作，获取文件下载链接，通过文件下载链接将文件进行导出操作。
上述技术方案的有益效果为：将需要导出的数据按照固定的分片大小进行分配，获取生成子任务；向分布式MySQL协议数据库中的集群分发子任务，若集群的任务数据达到上限则将数据缓存在阻塞队列中；所有子任务执行完毕后再文件系统中组装数据分片，生成文件，当前的主任务则进行任务更新操作，获取文件下载链接，通过文件下载链接将文件进行导出操作。
在另一实施例中，一种MySQL协议数据库的数据导入导出系统，包括：
数据预处理单元用于对分布式MySQL协议数据库的数据源进行预处理操作，获取具有类型之间映射关系的目的数据源；
数据导入单元用于用户向分布式MySQL协议数据库发送数据导入请求，分布式MySQL协议数据库响应请求，调取待导入的数据后将数据导入MySQL协议数据库；
数据导出单元用于用户向分布式MySQL协议数据库发送数据导出请求，分布式MySQL协议数据库响应请求，调取待导出的数据后将数据导出MySQL协议数据库。
上述技术方案的工作原理为：对分布式MySQL协议数据库的数据源进行预处理操作，获取具有类型之间映射关系的目的数据源；用户向分布式MySQL协议数据库发送数据导入请求，分布式MySQL协议数据库响应请求，调取待导入的数据后将数据导入MySQL协议数据库；用户向分布式MySQL协议数据库发送数据导出请求，分布式MySQL协议数据库响应请求，调取待导出的数据后将数据导出MySQL协议数据库。MySQL协议数据库的数据是数据库能正常运行和使用的基础，通过为MySQL协议数据库中多种数据导入及导出提供实施途径，使得数据库使用更加便捷和有效。
上述技术方案的有益效果为：数据预处理单元用于对分布式MySQL协议数据库的数据源进行预处理操作，获取具有类型之间映射关系的目的数据源；数据导入单元用于用户向分布式MySQL协议数据库发送数据导入请求，分布式MySQL协议数据库响应请求，调取待导入的数据后将数据导入MySQL协议数据库；数据导出单元用于用户向分布式MySQL协议数据库发送数据导出请求，分布式MySQL协议数据库响应请求，调取待导出的数据后将数据导出MySQL协议数据库。MySQL协议数据库的数据是数据库能正常运行和使用的基础，通过为MySQL协议数据库中多种数据导入及导出提供实施途径，使得数据库使用更加便捷和有效。
在另一实施例中，所述数据预处理单元包括：
初始化操作子单元用于将分布式MySQL协议数据库的数据源进行初始化操作，将初始数据源与目的数据源进行连接；
构建映射关系子单元用于通过相关的ODBC API函数读取初始数据源的元数据信息，驱动程序通过数据源数据类型与ODBC SOL类型之间构成对于的映射关系，从映射关系找出源数据源与目的数据源类型的对应关系，生成目标表的结构信息；
构建目标表结构子单元用于基于目标表的结构信息，构建目标表结构，逐行读取源表记录，调用Insert语句，写入分布式MySQL协议数据库的表中。
上述技术方案的工作原理为：初始化操作子单元用于将分布式MySQL协议数据库的数据源进行初始化操作，初始化操作包括：分配环境、分配连接句柄、与服务器连接、分配语句句柄，将初始数据源与目的数据源进行连接；构建映射关系子单元用于通过相关的ODBC API函数读取初始数据源的元数据信息，驱动程序通过数据源数据类型与ODBC SOL类型之间构成对于的映射关系，从映射关系找出源数据源与目的数据源类型的对应关系，生成目标表的结构信息；构建目标表结构子单元用于基于目标表的结构信息，构建目标表结构，逐行读取源表记录，调用Insert语句，写入分布式MySQL协议数据库的表中，最后释放语句句柄，与服务器断开，释放连接句柄，释放环境。
其中，数据预处理是对导入到平台的数据进行一定程度的预处理功能。包括抽样，汇总等功能。同时数据预处理流程能够进行多种操作，包括增删改查，流程发布，定时执行，增量执行等。
上述技术方案的有益效果为：初始化操作子单元用于将分布式MySQL协议数据库的数据源进行初始化操作，将初始数据源与目的数据源进行连接；构建映射关系子单元用于通过相关的ODBC API函数读取初始数据源的元数据信息，驱动程序通过数据源数据类型与ODBC SOL类型之间构成对于的映射关系，从映射关系找出源数据源与目的数据源类型的对应关系，生成目标表的结构信息；构建目标表结构子单元用于基于目标表的结构信息，构建目标表结构，逐行读取源表记录，调用Insert语句，写入分布式MySQL协议数据库的表中。
在另一实施例中，所述数据导入单元包括：
数据导入第一子单元用于根据用户发送数据导入请求，分布式MySQL协议数据库读取本地配置文件，读取系统状态文件目录；
数据导入第二子单元用于读取数据指标参数配置文件，加载目标指标参数模式，读取系统状态文件，遍历文件并匹配指标参数模式，提取符合指标参数模式的信息串并存储到内存中，直到系统状态文件中的所有的MySQL数据库实例的参数都获取完毕；
数据导入第三子单元用于将内存中的参数信息存储到数据文件中，再将需要导入的数据文件选择对于的导入方式，通过输入对应的参数信息获取导入的数据。
上述技术方案的工作原理为：数据导入第一子单元用于根据用户发送数据导入请求，分布式MySQL协议数据库读取本地配置文件，读取系统状态文件目录；数据导入第二子单元用于读取数据指标参数配置文件，加载目标指标参数模式，读取系统状态文件，遍历文件并匹配指标参数模式，提取符合指标参数模式的信息串并存储到内存中，直到系统状态文件中的所有的MySQL数据库实例的参数都获取完毕；数据导入第三子单元用于将内存中的参数信息存储到数据文件中，再将需要导入的数据文件选择对于的导入方式，通过输入对应的参数信息获取导入的数据。数据导入管理是系统中内部数据的主要来源方式，数据导入具有定时导入的功能，同时具有对特定数据进行增量数据导入的功能。
在UI界面点击新建数据导入流程，前后台交互获取数据源信息列表，用户点击选择数据源，前后台交互获取数据表列表，用户点击选择需要导入的数据源列表，选择导入时间，当导入流程开始时，后台调用Sqoop接口，将传统数据库中的数据表导入到MySQL协议数据库；数据导入选择的导入的数据类型可能是文件，当文件中的内容是结构化的，该MySQL协议数据库通过HIVE进行导入，当文件中的内容是非结构化的，MySQL协议数据库可以通过Haddoop的命令将文件进行上传导入。
上述技术方案的有益效果为：数据导入第一子单元用于根据用户发送数据导入请求，分布式MySQL协议数据库读取本地配置文件，读取系统状态文件目录；数据导入第二子单元用于读取数据指标参数配置文件，加载目标指标参数模式，读取系统状态文件，遍历文件并匹配指标参数模式，提取符合指标参数模式的信息串并存储到内存中，直到系统状态文件中的所有的MySQL数据库实例的参数都获取完毕；数据导入第三子单元用于将内存中的参数信息存储到数据文件中，再将需要导入的数据文件选择对于的导入方式，通过输入对应的参数信息获取导入的数据。
在另一实施例中，所述数据导出单元包括：
数据导出第一子单元用于用户向分布式MySQL协议数据库发出导出请求，分布式MySQL协议数据库向导出端发起一个数据导出的RPC调用；
数据导出第二子单元用于导出端从分布式MySQL协议数据库中分片获取数据，分片数据分别在文件系统进行组合，在文件系统中组合为CSV文件；
数据导出第三子单元CSV文件从文件系统中导出，用户获取从分布式MySQL协议数据库导出的数据。
上述技术方案的工作原理为：数据导出第一子单元用于用户向分布式MySQL协议数据库发出导出请求，分布式MySQL协议数据库向导出端发起一个数据导出的RPC调用；数据导出第二子单元用于导出端从分布式MySQL协议数据库中分片获取数据，分片数据分别在文件系统进行组合，在文件系统中组合为CSV文件；数据导出第三子单元CSV文件从文件系统中导出，用户获取从分布式MySQL协议数据库导出的数据。
其中，导入和导出的过程的许多方面都可以被个性化定制，用户可以控制数据库表中需要导入的具体行和列，也可以指定文件的格式、列的分隔符和导入到文件后需要过滤的字符；
导入过程的输入是一个数据库表，Sqoop将会从表中一行一行的读入到HDFS，导入过程的输出是一组包含被导入表数据的文件，因为导入过程是并行的，所以将会产生多个输出文件，这些文件可以是文本文件，文件中每一行对应一条数据库表中的记录，记录中每个域之间通过逗号或\t分割，也可以是二进制的Avro，或包含序列化的数据的序列化文件。在对导入的记录使用MapReduce或Hive等计算完后，可以将计算结果导回关系型数据库。Sqoop的导出过程将会并行的从HDFS中读取一组文本文件，解析为记录，并插入到数据库表中，供其他业务或用户使用。
上述技术方案的有益效果为：数据导出第一子单元用于用户向分布式MySQL协议数据库发出导出请求，分布式MySQL协议数据库向导出端发起一个数据导出的RPC调用；数据导出第二子单元用于导出端从分布式MySQL协议数据库中分片获取数据，分片数据分别在文件系统进行组合，在文件系统中组合为CSV文件；数据导出第三子单元CSV文件从文件系统中导出，用户获取从分布式MySQL协议数据库导出的数据。MySQL协议数据库的数据是数据库能正常运行和使用的基础，通过为MySQL协议数据库中多种数据导入及导出提供实施途径，使得数据库使用更加便捷和有效。
在另一实施例中，所述数据导出第二子单元包括：
将需要导出的数据按照固定的分片大小进行分配，获取生成子任务；向分布式MySQL协议数据库中的集群分发子任务，若集群的任务数据达到上限则将数据缓存在阻塞队列中；所有子任务执行完毕后再文件系统中组装数据分片，生成文件，当前的主任务则进行任务更新操作，获取文件下载链接，通过文件下载链接将文件进行导出操作。
上述技术方案的工作原理为：将需要导出的数据按照固定的分片大小进行分配，获取生成子任务；向分布式MySQL协议数据库中的集群分发子任务，若集群的任务数据达到上限则将数据缓存在阻塞队列中；所有子任务执行完毕后再文件系统中组装数据分片，生成文件，当前的主任务则进行任务更新操作，获取文件下载链接，通过文件下载链接将文件进行导出操作。
为保证待导出数据在进行导出的过程中具有有效性和可行性，将待导出数据的文本表示的词向量通过线性变换映射到隐藏层，然后取词向量平均值，与数据库中的词向量结构类似，通过数据库将其待导出数据的文本的词向量矩阵加入归一化的优化层，优化层根据每一种类别的权重输出预测的类别数据结果。其类别数据公式为：
Figure BDA0004016027360000141
其中，β表示类别数据；N表示待导出数据的文本的数量；yi和xi分别表示第i个数据的标签和特征；S表示权重矩阵；W表示f的权重系数；i表示分类的数量；f表示权重数。
通过类别数据公式将一个整体导出任务分为多类别的数据导出问题转化为n个二分类问题，进而降低了数据导出的复杂度。
上述技术方案的有益效果为：将需要导出的数据按照固定的分片大小进行分配，获取生成子任务；向分布式MySQL协议数据库中的集群分发子任务，若集群的任务数据达到上限则将数据缓存在阻塞队列中；所有子任务执行完毕后再文件系统中组装数据分片，生成文件，当前的主任务则进行任务更新操作，获取文件下载链接，通过文件下载链接将文件进行导出操作。MySQL协议数据库的数据是数据库能正常运行和使用的基础，通过为MySQL协议数据库中多种数据导入及导出提供实施途径，使得数据库使用更加便捷和有效。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种MySQL协议数据库的数据导入导出方法，其特征在于，包括：
S101：对分布式MySQL协议数据库的数据源进行预处理操作，获取具有类型之间映射关系的目的数据源；
S102：用户向分布式MySQL协议数据库发送数据导入请求，分布式MySQL协议数据库响应请求，调取待导入的数据后将数据导入MySQL协议数据库；
S103：用户向分布式MySQL协议数据库发送数据导出请求，分布式MySQL协议数据库响应请求，调取待导出的数据后将数据导出MySQL协议数据库。
2.根据权利要求1所述的一种MySQL协议数据库的数据导入导出方法，其特征在于，所述S101步骤包括：
S1011：将分布式MySQL协议数据库的数据源进行初始化操作，将初始数据源与目的数据源进行连接；
S1012：通过相关的ODBC API函数读取初始数据源的元数据信息，驱动程序通过数据源数据类型与ODBC SOL类型之间构成对于的映射关系，从映射关系找出源数据源与目的数据源类型的对应关系，生成目标表的结构信息；
S1013：基于目标表的结构信息，构建目标表结构，逐行读取源表记录，调用Insert语句，写入分布式MySQL协议数据库的表中。
3.根据权利要求1所述的一种MySQL协议数据库的数据导入导出方法，其特征在于，所述S102步骤包括：
S1021：根据用户发送数据导入请求，分布式MySQL协议数据库读取本地配置文件，读取系统状态文件目录；
S1022：读取数据指标参数配置文件，加载目标指标参数模式，读取系统状态文件，遍历文件并匹配指标参数模式，提取符合指标参数模式的信息串并存储到内存中，直到系统状态文件中的所有的MySQL数据库实例的参数都获取完毕；
S1023：将内存中的参数信息存储到数据文件中，再将需要导入的数据文件选择对于的导入方式，通过输入对应的参数信息获取导入的数据。
4.根据权利要求1所述的一种MySQL协议数据库的数据导入导出方法，其特征在于，所述S103步骤包括：
S1031：用户向分布式MySQL协议数据库发出导出请求，分布式MySQL协议数据库向导出端发起一个数据导出的RPC调用；
S1032：导出端从分布式MySQL协议数据库中分片获取数据，分片数据分别在文件系统进行组合，在文件系统中组合为CSV文件；
S1033：CSV文件从文件系统中导出，用户获取从分布式MySQL协议数据库导出的数据。
5.根据权利要求4所述的一种MySQL协议数据库的数据导入导出方法，其特征在于，所述S1032步骤包括：
将需要导出的数据按照固定的分片大小进行分配，获取生成子任务；向分布式MySQL协议数据库中的集群分发子任务，若集群的任务数据达到上限则将数据缓存在阻塞队列中；所有子任务执行完毕后再文件系统中组装数据分片，生成文件，当前的主任务则进行任务更新操作，获取文件下载链接，通过文件下载链接将文件进行导出操作。
6.一种MySQL协议数据库的数据导入导出系统，其特征在于，包括：
数据预处理单元用于对分布式MySQL协议数据库的数据源进行预处理操作，获取具有类型之间映射关系的目的数据源；
数据导入单元用于用户向分布式MySQL协议数据库发送数据导入请求，分布式MySQL协议数据库响应请求，调取待导入的数据后将数据导入MySQL协议数据库；
数据导出单元用于用户向分布式MySQL协议数据库发送数据导出请求，分布式MySQL协议数据库响应请求，调取待导出的数据后将数据导出MySQL协议数据库。
7.根据权利要求6所述的一种MySQL协议数据库的数据导入导出系统，其特征在于，所述数据预处理单元包括：
初始化操作子单元用于将分布式MySQL协议数据库的数据源进行初始化操作，将初始数据源与目的数据源进行连接；
构建映射关系子单元用于通过相关的ODBC API函数读取初始数据源的元数据信息，驱动程序通过数据源数据类型与ODBC SOL类型之间构成对于的映射关系，从映射关系找出源数据源与目的数据源类型的对应关系，生成目标表的结构信息；
构建目标表结构子单元用于基于目标表的结构信息，构建目标表结构，逐行读取源表记录，调用Insert语句，写入分布式MySQL协议数据库的表中。
8.根据权利要求6所述的一种MySQL协议数据库的数据导入导出系统，其特征在于，所述数据导入单元包括：
数据导入第一子单元用于根据用户发送数据导入请求，分布式MySQL协议数据库读取本地配置文件，读取系统状态文件目录；
数据导入第二子单元用于读取数据指标参数配置文件，加载目标指标参数模式，读取系统状态文件，遍历文件并匹配指标参数模式，提取符合指标参数模式的信息串并存储到内存中，直到系统状态文件中的所有的MySQL数据库实例的参数都获取完毕；
数据导入第三子单元用于将内存中的参数信息存储到数据文件中，再将需要导入的数据文件选择对于的导入方式，通过输入对应的参数信息获取导入的数据。
9.根据权利要求6所述的一种MySQL协议数据库的数据导入导出系统，其特征在于，所述数据导出单元包括：
数据导出第一子单元用于用户向分布式MySQL协议数据库发出导出请求，分布式MySQL协议数据库向导出端发起一个数据导出的RPC调用；
数据导出第二子单元用于导出端从分布式MySQL协议数据库中分片获取数据，分片数据分别在文件系统进行组合，在文件系统中组合为CSV文件；
数据导出第三子单元CSV文件从文件系统中导出，用户获取从分布式MySQL协议数据库导出的数据。
10.根据权利要求9所述的一种MySQL协议数据库的数据导入导出方法及系统，其特征在于，所述数据导出第二子单元包括：
将需要导出的数据按照固定的分片大小进行分配，获取生成子任务；向分布式MySQL协议数据库中的集群分发子任务，若集群的任务数据达到上限则将数据缓存在阻塞队列中；所有子任务执行完毕后再文件系统中组装数据分片，生成文件，当前的主任务则进行任务更新操作，获取文件下载链接，通过文件下载链接将文件进行导出操作。
CN202211672100.XA 2022-12-26 2022-12-26 一种MySQL协议数据库的数据导入导出方法及系统 Active CN116186130B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211672100.XA CN116186130B (zh) 2022-12-26 2022-12-26 一种MySQL协议数据库的数据导入导出方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211672100.XA CN116186130B (zh) 2022-12-26 2022-12-26 一种MySQL协议数据库的数据导入导出方法及系统

Publications (2)

Publication Number Publication Date
CN116186130A true CN116186130A (zh) 2023-05-30
CN116186130B CN116186130B (zh) 2023-09-12

Family

ID=86435557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211672100.XA Active CN116186130B (zh) 2022-12-26 2022-12-26 一种MySQL协议数据库的数据导入导出方法及系统

Country Status (1)

Country Link
CN (1) CN116186130B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150169602A1 (en) * 2013-12-18 2015-06-18 Software Ag File metadata handler for storage and parallel processing of files in a distributed file system, and associated systems and methods
CN112667733A (zh) * 2021-03-15 2021-04-16 北京焦点新干线信息技术有限公司 数据仓库数据导入方法与系统
CN114513522A (zh) * 2022-01-04 2022-05-17 武汉烽火技术服务有限公司 一种北向接口资源导出系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150169602A1 (en) * 2013-12-18 2015-06-18 Software Ag File metadata handler for storage and parallel processing of files in a distributed file system, and associated systems and methods
CN112667733A (zh) * 2021-03-15 2021-04-16 北京焦点新干线信息技术有限公司 数据仓库数据导入方法与系统
CN114513522A (zh) * 2022-01-04 2022-05-17 武汉烽火技术服务有限公司 一种北向接口资源导出系统

Also Published As

Publication number Publication date
CN116186130B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
US11288267B2 (en) Pluggable storage system for distributed file systems
US8543596B1 (en) Assigning blocks of a file of a distributed file system to processing units of a parallel database management system
CN108536761A (zh) 报表数据查询方法及服务器
US10733172B2 (en) Method and computing device for minimizing accesses to data storage in conjunction with maintaining a B-tree
CN103314377B (zh) 稀疏索引表组织
JPH10501086A (ja) 記憶プレーン編成及びそれに基づく記憶システム
CN112307122B (zh) 一种基于数据湖的数据管理系统及方法
CN101258497A (zh) 分布式文件系统中基于集中策略的磁盘空间预分配的方法
CN111324610A (zh) 一种数据同步的方法及装置
CN107818112A (zh) 一种大数据分析作业系统及任务提交方法
CN107329987A (zh) 一种基于mongo数据库的搜索系统
US11182406B2 (en) Increased data availability during replication
JP2012174096A (ja) 計算機システム及びデータ管理方法
WO2014163624A1 (en) Query integration across databases and file systems
CN106570113B (zh) 一种海量矢量切片数据云存储方法及系统
CN104462185A (zh) 一种基于混合结构的数字图书馆云存储系统
EP2965492B1 (en) Selection of data storage settings for an application
Lovelace et al. VSAM demystified
US10262024B1 (en) Providing consistent access to data objects transcending storage limitations in a non-relational data store
US8577890B2 (en) Modifying data set name qualifiers
US10095738B1 (en) Dynamic assignment of logical partitions according to query predicate evaluations
CN116186130B (zh) 一种MySQL协议数据库的数据导入导出方法及系统
CN116089414B (zh) 基于海量数据场景的时序数据库写入性能优化方法及装置
CN112835638A (zh) 一种基于嵌入式应用程序的配置信息管理方法及装置
WO2022135592A1 (zh) 模型训练程序镜像的生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant