CN110019448A - 一种数据交互方法及装置 - Google Patents
一种数据交互方法及装置 Download PDFInfo
- Publication number
- CN110019448A CN110019448A CN201710885057.8A CN201710885057A CN110019448A CN 110019448 A CN110019448 A CN 110019448A CN 201710885057 A CN201710885057 A CN 201710885057A CN 110019448 A CN110019448 A CN 110019448A
- Authority
- CN
- China
- Prior art keywords
- internal file
- external table
- rdbms
- information
- hard disk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种数据交互方法及装置，该方法包括：若接收到数据导出指令，则通过检索映射列表中记录的多条映射关系，在目标硬盘区域中查找与关系数据库管理系统RDBMS中的第一外部表对应的第一内部文件；将第一内部文件导出到分布式文件系统HDFS中；若接收到数据导入指令，则通过检索映列表中记录的多条映射关系，确定目标硬盘区域中是否已存在待从HDFS中导入的第二内部文件；若否，则将第二内部文件导入至目标硬盘区域中，并在RDBMS中生成第二外部表；在映射列表中建立第二外部表与第二内部文件的映射关系。本发明有效降低RDBMS对数据库表所在磁盘的输入/输出操作，从而有效保证了RDBMS原业务资源，提升了RDBMS的处理效率以及资源利用率。
Description
技术领域
本发明实施例涉及通信领域，尤其涉及一种数据交互方法及装置。
背景技术
如图1所示为现有技术实施例中的RDBMS(Relational Database ManagementSystem，关系数据库管理系统)与HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)的数据交互示意图。
具体的，在现有技术实施例中，若需要将RDBMS系统中的数据导出到HDFS系统中，则需要通过第三方软件或编程访问RDBMS，从而通过RDBMS从数据库硬盘区域中读取数据库表，再导出到HDFS中。将HDFS中的数据表导入到RDBMS中，同样是需要通过RDBMS将数据库表写入到数据库硬盘区域。
由此可见，在现有技术中，任何数据的导入和导出过程均会请求RDBMS进行处理以及需要使用底层的系统资源(CPU/IO)，尤其是IO资源。在极端情况下(数据量大以及持续时间长)导入/导出过程会大量使用RDBMS的计算和处理资源，同时大量占用数据库文件(DBF，Digital Beam Forming)所在磁盘的IO资源，严重影响到RDBMS系统中的原有业务的正常运行和使用，导致原有业务处理资源不足、处理效率降低，甚至是服务宕机等严重问题。
发明内容
本发明实施例提供一种数据交互方法及装置，以解决现有技术中在数据交互过程中占用RDBMS大量的输入/输入资源，导致RDBMS处理能力降低的问题。
为了解决上述问题，本发明公开了一种数据交互方法，所述方法包括：
若接收到数据导出指令，则通过检索映射列表中记录的多条映射关系，在目标硬盘区域中查找与关系数据库管理系统RDBMS中的第一外部表对应的第一内部文件；
将第一内部文件导出到分布式文件系统HDFS中；
若接收到数据导入指令，则通过检索映列表中记录的多条映射关系，确定目标硬盘区域中是否已存在待从HDFS中导入的第二内部文件；
若否，则将第二内部文件导入至目标硬盘区域中，并在RDBMS中生成第二外部表；以及，
在映射列表中建立第二外部表与第二内部文件的映射关系。
在本发明的一个优选的实施例中，方法进一步包括：
若接收到数据写入指令，则对数据写入指令进行解析，以获取数据写入指令中的数据流；
在目标硬盘区域中生成第三内部文件，并将数据流写入第三内部文件；以及，
在RDBMS中生成第三外部表；
在映射列表中建立第三内部文件与第三外部表的映射关系。
在本发明的一个优选的实施例中，若接收到数据导出指令，则通过检索映射列表中记录的多条映射关系，在目标硬盘区域中查找与关系数据库管理系统RDBMS中的第一外部表对应的第一内部文件的步骤，具体包括：
若接收到数据导出指令，则获取数据导出指令中携带的第一外部表信息；
将第一外部表信息与映射列表中记录的多条映射关系进行匹配；
提取匹配成功的映射关系中包括的第一内部文件信息，第一内部文件信息包括第一内文件的文件名以及位置信息；
依据第一内部文件信息，在目标硬盘区域中的指定区域查找第一内部文件。
在本发明的一个优选的实施例中，将第一内部文件导出到分布式文件系统HDFS中的步骤，具体包括：
复制第一内部文件；
依据数据导出指令中携带的HDFS参数，将复制后的第一内部文件导出到HDFS中的指定区域。
在本发明的一个优选的实施例中，若接收到数据导入指令，则通过检索映列表中记录的多条映射关系，确定目标硬盘区域中是否已存在待从HDFS中导入的第二内部文件的步骤，具体包括：
若接收到数据导入指令，则获取导入指令中携带的第二外部表信息与第二内部文件信息，其中，第二内部文件信息用于标识HDFS中的第二内部文件，第二外部表信息用于标识RDBMS中的第二外部表；
将第二内部文件信息与映射列表中记录的多条映射关系进行匹配；
若匹配成功，则确定目标硬盘区域中已存在第二内部文件。
若匹配失败，则确定目标硬盘区域中不存在第二内部文件。
在本发明的一个优选的实施例中，其特征在于，若确定目标硬盘区域中已存在第二内部文件，则方法进一步包括：
判断匹配成功的映射关系中包括的外部表信息是否与第二外部表信息一致；
若否，则依据第二外部表信息，在RDBMS中生成第二外部表，并更新映射列表中与第二内部信息对应的映射关系。
根据本发明的另一方面，提供了一种数据交互装置，包括：
查找模块，用于若接收到数据导出指令，则通过检索映射列表中记录的多条映射关系，在目标硬盘区域中查找与关系数据库管理系统RDBMS中的第一外部表对应的第一内部文件；
导出模块，用于将第一内部文件导出到分布式文件系统HDFS中；
确定模块，用于若接收到数据导入指令，则通过检索映列表中记录的多条映射关系，确定目标硬盘区域中是否已存在待从HDFS中导入的第二内部文件；
导入模块，用于若否，则将第二内部文件导入至目标硬盘区域中，并在RDBMS中生成第二外部表；以及，
建立模块，用于在映射列表中建立第二外部表与第二内部文件的映射关系。
在本发明的一个优选的实施例中，装置进一步包括：
解析模块，用于若接收到数据写入指令，则对数据写入指令进行解析，以获取数据写入指令中的数据流；
第一生成模块，用于在目标硬盘区域中生成第三内部文件，并将数据流写入第三内部文件；以及，
第二生成模块，用于在RDBMS中生成第三外部表；
建立模块进一步用于在映射列表中建立第三内部文件与第三外部表的映射关系。
在本发明的一个优选的实施例中，查找模块进一步用于：
若接收到数据导出指令，则获取数据导出指令中携带的第一外部表信息；
将第一外部表信息与映射列表中记录的多条映射关系进行匹配；
提取匹配成功的映射关系中包括的第一内部文件信息，第一内部文件信息包括第一内文件的文件名以及位置信息；
依据第一内部文件信息，在目标硬盘区域中查找第一内部文件。
在本发明的一个优选的实施例中，导出模块进一步用于：
复制第一内部文件；
依据数据导出指令中携带的HDFS参数，将复制后的第一内部文件导出到HDFS中的指定区域。
在本发明的一个优选的实施例中，确定模块进一步用于：
若接收到数据导入指令，则获取导入指令中携带的第二外部表信息与第二内部文件信息，其中，第二内部文件信息用于标识HDFS中的第二内部文件，第二外部表信息用于标识RDBMS中的第二外部表；
将第二内部文件信息与映射列表中记录的多条映射关系进行匹配；
若匹配成功，则确定目标硬盘区域中已存在第二内部文件；
若匹配失败，则确定目标硬盘区域中不存在第二内部文件。
在本发明的一个优选的实施例中，若确定模块确定目标硬盘区域中已存在第二内部文件，则装置进一步包括：
判断模块，用于判断匹配成功的映射关系中包括的外部表信息是否与第二外部表信息一致；
第三生成模块，用于若否，则依据第二外部表信息，在RDBMS中生成第二外部表；
更新模块，用于更新映射列表中与第二内部信息对应的映射关系。
与现有技术相比，本发明实施例中的技术方案在将RDBMS系统中的数据库表导入出HDFS中时，通过将硬盘的目标硬盘区域中与数据库表对应的内部文件导出到HDFS，从而跳过通过RDBMS将数据库表导出数据表所在磁盘的操作。在将HDFS中的内部文件导入到RDBMS中时，亦是将内部文件存储到目标硬盘区域，并以“备份”的形式在RDBMS中生成与内部文件对应的数据库表，同样跳过通过RDBMS将数据库表导入到数据库表所在磁盘的操作。可见，本发明能够有效降低RDBMS对数据库表所在磁盘的输入/输出操作，从而有效保证了RDBMS原业务资源，提升了RDBMS的处理效率以及资源利用率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是现有技术实施例中的数据交互示意图；
图2是本发明实施例的一种数据交互方法的流程图；
图3是本发明实施例的一种数据交互装置的结构示意图；
图4是本发明实施例的一种数据创建方法的流程图；
图5是本发明实施例的一种数据导出方法的流程图；
图6是本发明实施例的一种数据导入方法的流程图；
图7是本发明实施例的一种数据交互装置的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图2，示出了本发明实施例的一种数据交互方法的流程图，具体可以包括以下步骤：
步骤201，若接收到数据导出指令，则通过检索映射列表中记录的多条映射关系，在目标硬盘区域中查找与关系数据库管理系统RDBMS中的第一外部表对应的第一内部文件。
具体的，在本发明的实施例中，数据交换装置接收指令，指令包括数据导出指令与数据导入指令。导出即为指示将RDBMS中的数据导出到HDFS，导入指令即为指示将HDFS中的数据导入到RDBMS中。
在本发明的实施例中，若数据交换装置接收到数据导出指令，则检索映射列表中记录的多条映射关系，从而查找到与需要导出的RDBMS中的第一外部表对应的第一内部文件在目标硬盘区域中的存储位置。在本发明的实施例中，目标硬盘区域区别于现有技术中的RDBMS中的数据库表所在磁盘，为操作人员预先为内部文件划分的硬盘区域。
步骤202，将第一内部文件导出到分布式文件系统HDFS中。
具体的，在本发明的实施例中，数据交换装置将查找到的第一内部文件导出到HDFS中。
步骤203，若接收到数据导入指令，则通过检索映列表中记录的多条映射关系，确定目标硬盘区域中是否已存在待从HDFS中导入的第二内部文件。
具体的，在本发明的实施例中，数据交换装置若接收到数据导入指令，则确定需要将HDFS中的指定内部文件(即本发明实施例中的第二内部文件)导入到RDBMS中。具体的，数据交换装置检索映射列表中记录的多条映射关系，以确定目标硬盘区域中是否已存在第二内部文件。
步骤204，若否，则将第二内部文件导入至目标硬盘区域中，并在RDBMS中生成第二外部表。
具体的，在本发明的实施例中，数据交换装置若未检索到与第二内部文件对应的映射关系，则将HDFS中的第二内部文件导入到目标硬盘区域中，并在RDBMS中生成第二外部表。
步骤205，在映射列表中建立第二外部表与第二内部文件的映射关系。
具体的，在本发明的实施例中，数据交换装置在映射列表中建立第二外部表与第二内部文件的映射关系。从而使操作人员在需要对第二外部表进行操作的时候，数据交换装置可直接对第二外部表的映射文件，即第二内部文件进行操作，即可降低RDBMS的磁盘IO。
综上，本发明实施例中的技术方案在将RDBMS系统中的数据库表(即本发明实施例中的外部表)导入出HDFS中时，通过将硬盘的目标硬盘区域中与数据库表对应的内部文件导出到HDFS，从而跳过通过RDBMS将数据库表导出数据表所在磁盘的操作。在将HDFS中的内部文件导入到RDBMS中时，亦是将内部文件存储到目标硬盘区域，并以“备份”的形式在RDBMS中生成与内部文件对应的数据库表，同样跳过通过RDBMS将数据库表导入到数据库表所在磁盘的操作。可见，本发明能够有效降低RDBMS对数据库表所在磁盘的输入/输出操作，从而有效保证了RDBMS原业务资源，提升了RDBMS的处理效率以及资源利用率。
此外，在本发明的一个优选的实施例中，方法进一步包括：
若接收到数据写入指令，则对数据写入指令进行解析，以获取数据写入指令中的数据流；
在目标硬盘区域中生成第三内部文件，并将数据流写入第三内部文件；以及，
在RDBMS中生成第三外部表；
在映射列表中建立第三内部文件与第三外部表的映射关系。
在本发明的一个优选的实施例中，若接收到数据导出指令，则通过检索映射列表中记录的多条映射关系，在目标硬盘区域中查找与关系数据库管理系统RDBMS中的第一外部表对应的第一内部文件的步骤，具体包括：
若接收到数据导出指令，则获取数据导出指令中携带的第一外部表信息；
将第一外部表信息与映射列表中记录的多条映射关系进行匹配；
提取匹配成功的映射关系中包括的第一内部文件信息，第一内部文件信息包括第一内文件的文件名以及位置信息；
依据第一内部文件信息，在目标硬盘区域中的指定区域查找第一内部文件。
在本发明的一个优选的实施例中，将第一内部文件导出到分布式文件系统HDFS中的步骤，具体包括：
复制第一内部文件；
依据数据导出指令中携带的HDFS参数，将复制后的第一内部文件导出到HDFS中的指定区域。
在本发明的一个优选的实施例中，若接收到数据导入指令，则通过检索映列表中记录的多条映射关系，确定目标硬盘区域中是否已存在待从HDFS中导入的第二内部文件的步骤，具体包括：
若接收到数据导入指令，则获取导入指令中携带的第二外部表信息与第二内部文件信息，其中，第二内部文件信息用于标识HDFS中的第二内部文件，第二外部表信息用于标识RDBMS中的第二外部表；
将第二内部文件信息与映射列表中记录的多条映射关系进行匹配；
若匹配成功，则确定目标硬盘区域中已存在第二内部文件。
若匹配失败，则确定目标硬盘区域中不存在第二内部文件。
在本发明的一个优选的实施例中，其特征在于，若确定目标硬盘区域中已存在第二内部文件，则方法进一步包括：
判断匹配成功的映射关系中包括的外部表信息是否与第二外部表信息一致；
若否，则依据第二外部表信息，在RDBMS中生成第二外部表，并更新映射列表中与第二内部信息对应的映射关系。
为了使本领域技术人员更好的理解本发明的数据交互方法，下面以具体实施例进行详细阐述。
如图3所示为本发明实施例中的数据交互装置结构示意图，在图3中：
数据交互装置包括RDBMS接入接口、SQL引擎、文件交换组件以及表管理器。
具体的，在本发明的实施例中，RDBMS接入接口主要负责提供外部设备或系统与数据交换装置的接口。
SQL引擎主要用于在数据创建过程中的数据解析操作。
文件交换组件主要用于接收并执行数据的导入/导出操作。以及，对RDBMS中的数据库表(即本发明实施例中的外部表)和内部文件的查找与提取操作。
表管理器主要用于存储RDBMS中的数据表与内部文件的映射关系。
下面以具体实施例进行详细阐述：
1)数据创建。
如图4所示为本发明实施例中的数据创建流程示意图。在图4中:
业务层通过RDBMS接入接口向数据交换装置发布数据写入指令，该指令指示RDBMS生成数据库表(即本发明实施例中的第三外部表)，并且指令中携带有生成数据库表所用的控制信息以及数据流。控制信息包括但不限于：数据库表的名称、存储位置等。数据流即为数据库表的实际数据。
SQL引擎对数据写入指令进行解析，从而得到控制信息以及数据流。SQL引擎在目标硬盘区域中生成内部文件(即本发明实施例中的第三内部文件)，并将数据流写入内部文件中。其中，生成的内部文件的包括有内部文件信息，内部文件信息包括但不限于：内部文件名称、内部文件存储位置。
随后，SQL引擎将数据流进行入库操作。即，SQL将控制信息以及数据流传输到RDBMS系统，RDBMS将依据控制信息，生成对应的数据库表，并将数据流写入数据库表。在本发明的实施例中，为降低RDBMS的IO资源利用率，RDBMS可不将数据流写入数据库表，而仅建立一张空白数据库表。
随后，表管理器将新建立的数据库表的表信息以及对应的内部文件的内部文件信息对应写入映射列表，以建立内部文件与数据库表的映射关系。从而以“备份”的形式，在目标硬盘区域中生成与RDBMS中的数据库表对应的内部文件，使数据交换装置在导入/导出过程中，直接导入或导出内部文件，从而有效减小了对RDBMS的资源占用。
2)数据导出。
如图5所示为本发明实施例中的数据导出流程示意图。在图5中:
业务层通过RDBMS接入接口向数据交换装置发布数据导出指令，该指令中携带有第一外部表信息以及HDFS参数。第一外部表信息包括但不限于：第一外部表的名称、以及存储位置。HDFS参数用于标识导出到HDFS系统时的存储位置。
具体的，文件交换组件获取数据导出指令中的第一外部表信息，并将第一外部表信息与表管理器存储的映射列表中记录的多条映射关系进行匹配。若匹配失败，则确定当前RDBMS中不存在该第一外部表信息。若匹配成功，则提取匹配成功的映射关系中包括的第一内部文件信息，第一内部文件信息包括但不限于：第一内部文件的名称、存储位置。
随后，文件交换组件依据第一内部文件信息，在目标硬盘区域中的指定区域查找第一内部文件。指定区域即为第一内部文件信息中标识的存储位置。在本发明的一个实施例中，目标硬盘区域可被划分为多个分区，第一内部文件信息包括的存储位置即为第一内部文件所在分区的分区标识信息。
接着，文件交换组件复制该第一内部文件，并依据数据导出指令中携带的HDFS参数，将复制后的第一内部文件导出到HDFS中的指定区域。指定区域即为HDFS参数标识的存储位置。
3)数据导入。
如图6所示为本发明实施例中的数据导入流程示意图。在图6中:
业务层通过RDBMS接入接口向数据交换装置发布数据导入指令，该数据导入指令中携带第二外部表信息与第二内部文件信息。其中，第二外部表信息用于标识RDBMS中的第二外部表，包括但不限于：第二外部表的名称。第二内部文件信息用于标识HDFS中的第二内部文件，包括但不限于：第二内部文件的名称、存储位置。
具体的，文件交换组件将第二内部文件信息与表管理器存储的映射列表中记录的多条映射关系进行匹配。
若匹配成功，则确定目标硬盘区域中存在该第二内部文件。
若匹配失败，则确定目标硬盘区域中不存在该第二内部文件。
在本发明的一个实施例中，若确定目标硬盘区域中不存在该第二内部文件，则文件交换组件依据第二内部文件信息，在HDFS中查找到第二内部文件，并将第二内部文件导入到目标硬盘区域中。第二内部文件在目标硬盘区域中的存储位置可依据实际需求进行预先设置或随机存储，本发明对此不做限定。
随后，文件交换组件指示RDBMS生成第二外部表，在本发明的实施例中，第二外部表为空表，即仅具有表名称。
接着，表管理器将第二内部文件在目标区域内的文件信息(文件名称、存储位置)与第二外部表的第二外部表信息(表名称、存储位置)对应写入映射列表中，以建立第二内部文件与第二外部表之间的映射关系。
在本发明的另一个实施例中，若确定目标硬盘区域中存在该第二内部文件，则文件交换组件进一步判断RDBMS中与第二内部文件对应的数据库表是否为数据导入指令指示的第二外部表。具体的，文件交换组件判断匹配成功的映射关系中包括的外部表信息是否与数据导入指令中指示的第二外部表信息一致，若不一致，则说明用户当前需要将第二内部文件中的数据流写入到新的数据库表中。因此，文件交互组件依据第二外部表信息，指示RDBMS生成第二外部表，并更新映射列表中与第二内部信息对应的映射关系。即，将原有映射关系删除，并将第二内部文件信息与第二外部表信息对应写入映射列表，以建立第二内部文件与第二外部表之间的映射关系。
综上所述，本发明实施例中的技术方案在将RDBMS系统中的数据库表导入出HDFS中时，通过将硬盘的目标硬盘区域中与数据库表对应的内部文件导出到HDFS，从而跳过通过RDBMS将数据库表导出数据表所在磁盘的操作。在将HDFS中的内部文件导入到RDBMS中时，亦是将内部文件存储到目标硬盘区域，并以“备份”的形式在RDBMS中生成与内部文件对应的数据库表，同样跳过通过RDBMS将数据库表导入到数据库表所在磁盘的操作。可见，本发明能够有效降低RDBMS对数据库表所在磁盘的输入/输出操作，从而有效保证了RDBMS原业务资源，提升了RDBMS的处理效率以及资源利用率。，
参照图7，示出了本发明实施例的一种数据交换装置700的结构框图，该装置具体可以包括以下模块：
查找模块701，用于若接收到数据导出指令，则通过检索映射列表中记录的多条映射关系，在目标硬盘区域中查找与关系数据库管理系统RDBMS中的第一外部表对应的第一内部文件。
导出模块702，用于将第一内部文件导出到分布式文件系统HDFS中。
确定模块703，用于若接收到数据导入指令，则通过检索映列表中记录的多条映射关系，确定目标硬盘区域中是否已存在待从HDFS中导入的第二内部文件。
导入模块704，用于若否，则将第二内部文件导入至目标硬盘区域中，并在RDBMS中生成第二外部表。
建立模块705，用于在映射列表中建立第二外部表与第二内部文件的映射关系。
在本发明的一个优选的实施例中，装置进一步包括：
解析模块(图中未示出)，用于若接收到数据写入指令，则对数据写入指令进行解析，以获取数据写入指令中的数据流；
第一生成模块(图中未示出)，用于在目标硬盘区域中生成第三内部文件，并将数据流写入第三内部文件；以及，
第二生成模块(图中未示出)，用于在RDBMS中生成第三外部表；
建立模块705进一步用于在映射列表中建立第三内部文件与第三外部表的映射关系。
在本发明的一个优选的实施例中，查找模块701进一步用于：
若接收到数据导出指令，则获取数据导出指令中携带的第一外部表信息；
将第一外部表信息与映射列表中记录的多条映射关系进行匹配；
提取匹配成功的映射关系中包括的第一内部文件信息，第一内部文件信息包括第一内文件的文件名以及位置信息；
依据第一内部文件信息，在目标硬盘区域中查找第一内部文件。
在本发明的一个优选的实施例中，导出模块702进一步用于：
复制第一内部文件；
依据数据导出指令中携带的HDFS参数，将复制后的第一内部文件导出到HDFS中的指定区域。
在本发明的一个优选的实施例中，确定模块703进一步用于：
若接收到数据导入指令，则获取导入指令中携带的第二外部表信息与第二内部文件信息，其中，第二内部文件信息用于标识HDFS中的第二内部文件，第二外部表信息用于标识RDBMS中的第二外部表；
将第二内部文件信息与映射列表中记录的多条映射关系进行匹配；
若匹配成功，则确定目标硬盘区域中已存在第二内部文件；
若匹配失败，则确定目标硬盘区域中不存在第二内部文件。
在本发明的一个优选的实施例中，若确定模块703确定目标硬盘区域中已存在第二内部文件，则装置进一步包括：
判断模块(图中未示出)，用于判断匹配成功的映射关系中包括的外部表信息是否与第二外部表信息一致；
第三生成模块(图中未示出)，用于若否，则依据第二外部表信息，在RDBMS中生成第二外部表；
更新模块(图中未示出)，用于更新映射列表中与第二内部信息对应的映射关系。
综上所述，本发明实施例中的装置在将RDBMS系统中的数据库表导入出HDFS中时，通过将硬盘的目标硬盘区域中与数据库表对应的内部文件导出到HDFS，从而跳过通过RDBMS将数据库表导出数据表所在磁盘的操作。在将HDFS中的内部文件导入到RDBMS中时，亦是将内部文件存储到目标硬盘区域，并以“备份”的形式在RDBMS中生成与内部文件对应的数据库表，同样跳过通过RDBMS将数据库表导入到数据库表所在磁盘的操作。可见，本发明能够有效降低RDBMS对数据库表所在磁盘的输入/输出操作，从而有效保证了RDBMS原业务资源，提升了RDBMS的处理效率以及资源利用率。
对于设备实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的无线能力的获取设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上对本发明所提供的一种数据交换方法与装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (12)
1.一种数据交互方法，其特征在于，包括：
若接收到数据导出指令，则通过检索映射列表中记录的多条映射关系，在目标硬盘区域中查找与关系数据库管理系统RDBMS中的第一外部表对应的第一内部文件；
将所述第一内部文件导出到分布式文件系统HDFS中；
若接收到数据导入指令，则通过检索所述映列表中记录的多条映射关系，确定所述目标硬盘区域中是否已存在待从所述HDFS中导入的第二内部文件；
若否，则将所述第二内部文件导入至所述目标硬盘区域中，并在所述RDBMS中生成第二外部表；以及，
在所述映射列表中建立所述第二外部表与所述第二内部文件的映射关系。
2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
若接收到数据写入指令，则对所述数据写入指令进行解析，以获取所述数据写入指令中的数据流；
在所述目标硬盘区域中生成第三内部文件，并将所述数据流写入所述第三内部文件；以及，
在所述RDBMS中生成第三外部表；
在所述映射列表中建立所述第三内部文件与所述第三外部表的映射关系。
3.根据权利要求1所述的方法，其特征在于，所述若接收到数据导出指令，则通过检索映射列表中记录的多条映射关系，在目标硬盘区域中查找与关系数据库管理系统RDBMS中的第一外部表对应的第一内部文件的步骤，具体包括：
若接收到所述数据导出指令，则获取所述数据导出指令中携带的第一外部表信息；
将所述第一外部表信息与所述映射列表中记录的多条映射关系进行匹配；
提取匹配成功的映射关系中包括的第一内部文件信息，所述第一内部文件信息包括第一内文件的文件名以及位置信息；
依据所述第一内部文件信息，在所述目标硬盘区域中的指定区域查找所述第一内部文件。
4.根据权利要求1所述的方法，其特征在于，所述将所述第一内部文件导出到分布式文件系统HDFS中的步骤，具体包括：
复制所述第一内部文件；
依据所述数据导出指令中携带的HDFS参数，将复制后的第一内部文件导出到所述HDFS中的指定区域。
5.根据权利要求1所述的方法，其特征在于，所述若接收到数据导入指令，则通过检索所述映列表中记录的多条映射关系，确定所述目标硬盘区域中是否已存在待从所述HDFS中导入的第二内部文件的步骤，具体包括：
若接收到所述数据导入指令，则获取所述导入指令中携带的第二外部表信息与第二内部文件信息，其中，所述第二内部文件信息用于标识所述HDFS中的第二内部文件，所述第二外部表信息用于标识所述RDBMS中的第二外部表；
将所述第二内部文件信息与所述映射列表中记录的多条映射关系进行匹配；
若匹配成功，则确定所述目标硬盘区域中已存在所述第二内部文件。
若匹配失败，则确定所述目标硬盘区域中不存在所述第二内部文件。
6.根据权利要求5所述的方法，其特征在于，若确定所述目标硬盘区域中已存在所述第二内部文件，则所述方法进一步包括：
判断匹配成功的映射关系中包括的外部表信息是否与所述第二外部表信息一致；
若否，则依据所述第二外部表信息，在所述RDBMS中生成所述第二外部表，并更新所述映射列表中与所述第二内部信息对应的映射关系。
7.一种数据交互装置，其特征在于，包括：
查找模块，用于若接收到数据导出指令，则通过检索映射列表中记录的多条映射关系，在目标硬盘区域中查找与关系数据库管理系统RDBMS中的第一外部表对应的第一内部文件；
导出模块，用于将所述第一内部文件导出到分布式文件系统HDFS中；
确定模块，用于若接收到数据导入指令，则通过检索所述映列表中记录的多条映射关系，确定所述目标硬盘区域中是否已存在待从所述HDFS中导入的第二内部文件；
导入模块，用于若否，则将所述第二内部文件导入至所述目标硬盘区域中，并在所述RDBMS中生成第二外部表；以及，
建立模块，用于在所述映射列表中建立所述第二外部表与所述第二内部文件的映射关系。
8.根据权利要求7所述的装置，其特征在于，所述装置进一步包括：
解析模块，用于若接收到数据写入指令，则对所述数据写入指令进行解析，以获取所述数据写入指令中的数据流；
第一生成模块，用于在所述目标硬盘区域中生成第三内部文件，并将所述数据流写入所述第三内部文件；以及，
第二生成模块，用于在所述RDBMS中生成第三外部表；
所述建立模块进一步用于在所述映射列表中建立所述第三内部文件与所述第三外部表的映射关系。
9.根据权利要求7所述的装置，其特征在于，所述查找模块进一步用于：
若接收到所述数据导出指令，则获取所述数据导出指令中携带的第一外部表信息；
将所述第一外部表信息与所述映射列表中记录的多条映射关系进行匹配；
提取匹配成功的映射关系中包括的第一内部文件信息，所述第一内部文件信息包括第一内文件的文件名以及位置信息；
依据所述第一内部文件信息，在所述目标硬盘区域中查找所述第一内部文件。
10.根据权利要求7所述的装置，其特征在于，所述导出模块进一步用于：
复制所述第一内部文件；
依据所述数据导出指令中携带的HDFS参数，将复制后的第一内部文件导出到所述HDFS中的指定区域。
11.根据权利要求7所述的装置，其特征在于，所述确定模块进一步用于：
若接收到所述数据导入指令，则获取所述导入指令中携带的第二外部表信息与第二内部文件信息，其中，所述第二内部文件信息用于标识所述HDFS中的第二内部文件，所述第二外部表信息用于标识所述RDBMS中的第二外部表；
将所述第二内部文件信息与所述映射列表中记录的多条映射关系进行匹配；
若匹配成功，则确定所述目标硬盘区域中已存在所述第二内部文件；
若匹配失败，则确定所述目标硬盘区域中不存在所述第二内部文件。
12.根据权利要求11所述的装置，其特征在于，若所述确定模块确定所述目标硬盘区域中已存在所述第二内部文件，则所述装置进一步包括：
判断模块，用于判断匹配成功的映射关系中包括的外部表信息是否与所述第二外部表信息一致；
第三生成模块，用于若否，则依据所述第二外部表信息，在所述RDBMS中生成所述第二外部表；
更新模块，用于更新所述映射列表中与所述第二内部信息对应的映射关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710885057.8A CN110019448B (zh) | 2017-09-26 | 2017-09-26 | 一种数据交互方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710885057.8A CN110019448B (zh) | 2017-09-26 | 2017-09-26 | 一种数据交互方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110019448A true CN110019448A (zh) | 2019-07-16 |
| CN110019448B CN110019448B (zh) | 2021-12-28 |
Family
ID=67186382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710885057.8A Active CN110019448B (zh) | 2017-09-26 | 2017-09-26 | 一种数据交互方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110019448B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110457840A (zh) * | 2019-08-16 | 2019-11-15 | 三一重能有限公司 | 风力发电机控制软件架构方法、装置和电子设备 |
| CN113505115A (zh) * | 2021-07-07 | 2021-10-15 | 北京金山云网络技术有限公司 | 一种数据批量导入方法、装置及电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103631907A (zh) * | 2013-11-26 | 2014-03-12 | 中国科学院信息工程研究所 | 一种将关系型数据迁移至HBase的方法及系统 |
| CN106850258A (zh) * | 2016-12-22 | 2017-06-13 | 北京锐安科技有限公司 | 一种日志管理系统、方法及装置 |
-
2017
- 2017-09-26 CN CN201710885057.8A patent/CN110019448B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103631907A (zh) * | 2013-11-26 | 2014-03-12 | 中国科学院信息工程研究所 | 一种将关系型数据迁移至HBase的方法及系统 |
| CN106850258A (zh) * | 2016-12-22 | 2017-06-13 | 北京锐安科技有限公司 | 一种日志管理系统、方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110457840A (zh) * | 2019-08-16 | 2019-11-15 | 三一重能有限公司 | 风力发电机控制软件架构方法、装置和电子设备 |
| CN113505115A (zh) * | 2021-07-07 | 2021-10-15 | 北京金山云网络技术有限公司 | 一种数据批量导入方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110019448B (zh) | 2021-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107957957B (zh) | 测试用例的获取方法和装置 | |
| CN111339041B (zh) | 文件解析入库、文件生成方法及装置 | |
| CN106980669B (zh) | 一种数据的存储、获取方法及装置 | |
| CN109446218A (zh) | Sql语句生成方法、装置及计算机可读存储介质 | |
| CN106897322B (zh) | 一种数据库和文件系统的访问方法和装置 | |
| CN102725753B (zh) | 优化数据访问的方法及装置、优化数据存储的方法及装置 | |
| US10909086B2 (en) | File lookup in a distributed file system | |
| US10838963B2 (en) | Optimized access for hierarchical low cardinality value synopsis in analytical databases | |
| CN106970958B (zh) | 一种流文件的查询与存储方法和装置 | |
| CN105630475B (zh) | 一种数据标签组织系统及组织方法 | |
| CN110427364A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| CN110941547B (zh) | 自动化测试用例库管理方法、装置、介质及电子设备 | |
| CN106844676A (zh) | 数据存储方法及装置 | |
| US10417192B2 (en) | File classification in a distributed file system | |
| CN109379398A (zh) | 一种数据同步方法及装置 | |
| EP2965492A1 (en) | Selection of data storage settings for an application | |
| US10175958B2 (en) | Acquiring identification of an application lifecycle management entity associated with similar code | |
| CN106227769B (zh) | 数据存储方法及装置 | |
| US11853284B2 (en) | In-place updates with concurrent reads in a decomposed state | |
| CN112148461A (zh) | 应用的调度方法、装置 | |
| CN110019448A (zh) | 一种数据交互方法及装置 | |
| KR101772333B1 (ko) | 이종 NoSQL 데이터베이스들간의 지능적 조인 전략 제공 방법 및 시스템 | |
| US11250002B2 (en) | Result set output criteria | |
| CN109241102A (zh) | 数据处理方法及装置、存储介质和电子设备 | |
| US20220092049A1 (en) | Workload-driven database reorganization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |