CN114328439A

CN114328439A - 数据存储的方法、装置、电子设备及存储介质

Info

Publication number: CN114328439A
Application number: CN202210004617.5A
Authority: CN
Inventors: 阮景
Original assignee: China Construction Bank Corp
Current assignee: China Construction Bank Corp
Priority date: 2022-01-04
Filing date: 2022-01-04
Publication date: 2022-04-12

Abstract

本申请提供了一种数据存储的方法、装置、电子设备及存储介质。其中，在数据存储的方法中，首先获取待存储的数据文件的文件编号和连接键。针对每一个数据文件，将数据文件中的数据按照各个连接键进行分类，得到各个连接键对应的数据。然后针对每一个数据文件，将数据文件中同一连接键对应的数据存储到同一个数据块中，得到数据文件的各个数据块。最后基于各个数据块的文件编号和连接键，将各个数据块分配到数据节点上进行存储。由此可知，利用本申请的方法，使得相互关联的数据块存储到相同的数据节点上，因此，在进行数据库查询连接时，可以直接通过本地数据传输即可完成数据库查询连接操作。

Description

数据存储的方法、装置、电子设备及存储介质

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据存储的方法、装置、电子设备及存储介质。

背景技术

HDFS(Hadoop分布式文件系统)是Hadoop分布式系统架构的核心组件，以多台机器构建集群的方式来提供海量数据的存储能力。HDFS集群采用主从架构，一般由一个NameNode(管理节点)和若干个DataNode(数据节点)组成。管理节点负责维护整个文件系统结构和管理其他数据节点，而数据节点负责真正的数据存储。

在HDFS分布式文件系统中，对于数据的存储是采用“分而治之”的思想来处理的，以达到多个“聚少成多”的目的，即将各个数据块优先选择空闲率高的数据节点存储，分散到各个数据节点上。由于数据块分散在各个不同的节点上，所以在数据库查询连接的过程中，不同节点的关联数据需要通过网络传输到同一数据节点，以完成数据库查询连接的操作。因此需要进行大量的网络传输，消耗了较多的时间和网络资源，使得整个数据库查询连接的查询效率大大降低。

发明内容

有鉴于此，本申请提供了一种数据存储的方法、装置、电子设备及存储介质，以解决现有技术中在数据库查询连接的过程中，需要进行大量的网络传输，消耗了较多的时间和网络资源，使得整个数据库查询连接的查询效率大大降低的问题。

为实现上述目的，本申请提供如下技术方案：

本申请第一方面公开了一种数据存储的方法，应用于分布式文件系统，其中，所述数据存储的方法，包括：

获取待存储的数据文件的文件编号和连接键；其中，所述文件编号为预先根据预设的编号规则对数据文件进行编号得到，相互关联的数据文件具有相同的文件编号；所述连接键为用于对数据文件进行查询连接的字段；

针对每一个所述数据文件，将所述数据文件中的数据按照各个所述连接键进行分类，得到各个所述连接键对应的数据；

针对每一个所述数据文件，将所述数据文件中同一连接键对应的数据存储到同一个数据块中，得到所述数据文件的各个数据块；其中，每一个所述数据块通过所述连接键以及所述文件编号进行标识；

基于各个所述数据块的所述文件编号和所述连接键，将各个所述数据块分配到数据节点上进行存储。

可选的，上述的方法，所述将所述数据文件中的数据按照各个所述连接键进行分类，得到各个所述连接键对应的数据，包括：

将所述数据文件按照所述连接键进行分区操作，得到各个所述连接键对应的数据。

可选的，上述的方法，所述基于各个所述数据块的所述文件编号和所述连接键，将各个所述数据块分配到数据节点上进行存储，包括：

将各个所述数据块按照所述文件编号和所述连接键进行分类处理，筛选出所述文件编号和所述连接键均相同的数据块；

将所述文件编号和所述连接键均相同的数据块，分配到相同的数据节点上进行存储。

可选的，上述的方法，所述基于各个所述数据块的所述文件编号和所述连接键，将各个所述数据块分配到数据节点上进行存储之后，还包括：

生成数据存储的存储日志。

本申请第二方面公开了一种数据存储的装置，应用于分布式文件系统，其中，所述数据存储的装置，包括：

获取单元，用于获取待存储的数据文件的文件编号和连接键；其中，所述文件编号为预先根据预设的编号规则对数据文件进行编号得到，相互关联的数据文件具有相同的文件编号；所述连接键为用于对数据文件进行查询连接的字段；

分类单元，用于针对每一个所述数据文件，将所述数据文件中的数据按照各个所述连接键进行分类，得到各个所述连接键对应的数据；

存储单元，用于针对每一个所述数据文件，将所述数据文件中同一连接键对应的数据存储到同一个数据块中，得到所述数据文件的各个数据块；其中，每一个所述数据块通过所述连接键以及所述文件编号进行标识；

分配单元，用于基于各个所述数据块的所述文件编号和所述连接键，将各个所述数据块分配到数据节点上进行存储。

可选的，上述的装置，所述分类单元，包括：

分区子单元，用于将所述数据文件按照所述连接键进行分区操作，得到各个所述连接键对应的数据。

可选的，上述的装置，所述分配单元，包括：

筛选子单元，用于将各个所述数据块按照所述文件编号和所述连接键进行分类处理，筛选出所述文件编号和所述连接键均相同的数据块；

分配子单元，用于将所述文件编号和所述连接键均相同的数据块，分配到相同的数据节点上进行存储。

可选的，上述的装置，还包括：

日志生成单元，用于生成数据存储的存储日志。

本申请第三方面公开了一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如本申请第一方面中任意一项所述的方法。

本申请第四方面公开了一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如本申请第一方面中任意一项所述的方法。

从上述技术方案可以看出，本申请提供的一种数据存储的方法中，首先获取待存储的数据文件的文件编号和连接键；其中，文件编号为预先根据预设的编号规则对数据文件进行编号得到，相互关联的数据文件具有相同的文件编号；连接键为用于对数据文件进行查询连接的字段。针对每一个数据文件，将数据文件中的数据按照各个连接键进行分类，得到各个连接键对应的数据。然后针对每一个数据文件，将数据文件中同一连接键对应的数据存储到同一个数据块中，得到数据文件的各个数据块；其中，每一个数据块通过连接键以及文件编号进行标识。最后基于各个数据块的文件编号和连接键，将各个数据块分配到数据节点上进行存储。由此可知，利用本申请的方法，在进行数据存储时，将数据文件中的数据按照连接键来进行分类，得到各个连接键对应的数据，并将同一接键对应的数据存储到同一个数据块中，之后再按照文件编号和连接键将数据块分配到数据节点上，使得相互关联的数据块存储到相同的数据节点上，因此，在进行数据库查询连接时，可以直接通过本地数据传输即可完成数据库查询连接操作。解决了现有技术中在数据库查询连接的过程中，需要进行大量的网络传输，消耗了较多的时间和网络资源，使得整个数据库查询连接的查询效率大大降低的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例公开的一种数据存储的方法的流程图；

图2为本申请另一实施例公开的数据存储的示例图；

图3为本申请另一实施例公开的一种数据存储的装置的示意图；

图4为本申请另一实施例公开的一种电子设备的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

并且，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

由背景技术可知，在HDFS分布式文件系统中，对于数据的存储是采用“分而治之”的思想来处理的，以达到多个“聚少成多”的目的，即将各个数据块优先选择空闲率高的数据节点存储，分散到各个数据节点上。由于数据块分散在各个不同的节点上，所以在数据库查询连接的过程中，不同节点的关联数据需要通过网络传输到同一数据节点，以完成数据库查询连接的操作。因此需要进行大量的网络传输，消耗了较多的时间和网络资源，使得整个数据库查询连接的查询效率大大降低。

鉴于此，本申请提供了一种数据存储的方法、装置、电子设备及存储介质，以解决现有技术中在数据库查询连接的过程中，需要进行大量的网络传输，消耗了较多的时间和网络资源，使得整个数据库查询连接的查询效率大大降低的问题。

本申请第一方面提供了数据存储的方法，应用于分布式文件系统，其中，数据存储的方法，包括：

S101、获取待存储的数据文件的文件编号和连接键；其中，文件编号为预先根据预设的编号规则对数据文件进行编号得到，相互关联的数据文件具有相同的文件编号；连接键为用于对数据文件进行查询连接的字段。

需要说明的是，在进行数据存储时，首先获取待存储的数据文件的文件编号和连接键，其中，文件编号为预先根据预设的编号规则对数据文件进行编号得到，相互关联的数据文件具有相同的文件编号。例如，在上传表文件或创建新表时，为这些表指定一个定位编号，用于标识需要进行同节点分布的若干张表，比如表A(课程表)和表B(选课表)是存在关联关系或可能要进行关联操作的两张表，则可以为表A和表B都编号为“001”。连接键则为用于对数据文件进行查询连接的字段。例如，上述的课程表和选课表，课程表包含课程编号和课程名两个字段，选课表包含学生姓名和课程编号两个字段，当需要统计每位学生分别选了哪些课程时，就需要进行数据库查询连接操作。在进行数据库查询连接操作时，必须先指定连接的条件，课程表中的课程编号等于选课表中的课程编号，因此表A和表B中的课程编号就是进行查询连接的连接键。

S102、针对每一个数据文件，将数据文件中的数据按照各个连接键进行分类，得到各个连接键对应的数据。

需要说明的是，因此针对每一个待存储的数据文件，将数据文件中的数据按照各个连接键进行分类，从而得到各个连接键对应的数据。

可选的，在本申请的另一实施例中，步骤S102的一种实施方式，可以包括：

将数据文件按照连接键进行分区操作，得到各个连接键对应的数据。

需要说明的是，在使用Hive数据仓库时，大部分情况使用的是分区表，即按照某一特定字段如“时间”来进行表的分区。因此将数据文件按照连接键进行分区操作，得到各个连接键对应的数据。分区规则可通过哈希取值的方式，本实施例按照连接键进行哈希取值，可以保证每个单独的数据块中存储的都是连接键对应的数据。

S103、针对每一个数据文件，将数据文件中同一连接键对应的数据存储到同一个数据块中，得到数据文件的各个数据块；其中，每一个数据块通过连接键以及文件编号进行标识。

需要说明的是，由于HDFS(Hadoop分布式文件系统)内部的数据都是按照数据块来组织存储的，无论是上传数据文件还是往数据表中导入数据，最终都是分成一个个数据块来存储在各个数据节点上。因此针对每一个数据文件，在将数据存储到各个数据块时，将数据文件中同一连接键对应的数据存储到同一个数据块中，得到数据文件的各个数据块。这样，每个单独的数据块中存储的都是同一连接键对应的数据。其中，每一个数据块通过连接键以及文件编号进行标识，以便识别各个数据块。

S104、基于各个数据块的文件编号和连接键，将各个数据块分配到数据节点上进行存储。

需要说明的是，在生成各个数据块之后，基于各个数据块的文件编号和连接键，将各个数据块按照文件编号和连接键分配到各个数据节点上进行存储，相同文件编号和连接键的数据块存储到相同的数据节点上。这样，当某分析场景需要进行表A和表B的查询连接时，由于表A和表B中满足查询连接条件的数据都在相同的数据节点上，因此在本地节点映射阶段即可完成这一部分的查询连接操作，避免了从映射阶段到归约阶段时不同数据节点之间的数据传输，节省了集群的网络消耗，提升了HDFS(Hadoop分布式文件系统)在进行数据查询时的整体性能，具体可参见图2，A1、B1表示相同文件编号和连接键的数据块。

可选的，在本申请的另一实施例中，步骤S104的一种实施方式，可以包括：

将各个数据块按照文件编号和连接键进行分类处理，筛选出文件编号和连接键均相同的数据块。

将文件编号和连接键均相同的数据块，分配到相同的数据节点上进行存储。

需要说明的是，在对数据块进行存储时，首先将各个数据块按照文件编号和连接键进行分类处理，筛选出文件编号和连接键均相同的数据块。然后将文件编号和连接键均相同的数据块，分配到相同的数据节点上进行存储。

可选的，在本申请的另一实施例中，执行步骤S104之后，还可以包括：

生成数据存储的存储日志。

需要说明的是，在将各个数据块分配到数据节点上进行存储之后，则生成此次数据存储的存储日志，记录此次的数据存储的详细记录，方便后续进行数据查询。

本申请提供的一种数据存储的方法中，首先获取待存储的数据文件的文件编号和连接键；其中，文件编号为预先根据预设的编号规则对数据文件进行编号得到，相互关联的数据文件具有相同的文件编号；连接键为用于对数据文件进行查询连接的字段。针对每一个数据文件，将数据文件中的数据按照各个连接键进行分类，得到各个连接键对应的数据。然后针对每一个数据文件，将数据文件中同一连接键对应的数据存储到同一个数据块中，得到数据文件的各个数据块；其中，每一个数据块通过连接键以及文件编号进行标识。最后基于各个数据块的文件编号和连接键，将各个数据块分配到数据节点上进行存储。由此可知，利用本申请的方法，在进行数据存储时，将数据文件中的数据按照连接键来进行分类，得到各个连接键对应的数据，并将同一接键对应的数据存储到同一个数据块中，之后再按照文件编号和连接键将数据块分配到数据节点上，使得相互关联的数据块存储到相同的数据节点上，因此，在进行数据库查询连接时，可以直接通过本地数据传输即可完成数据库查询连接操作。解决了现有技术中在数据库查询连接的过程中，需要进行大量的网络传输，消耗了较多的时间和网络资源，使得整个数据库查询连接的查询效率大大降低的问题。

本申请另一实施例还提供了一种数据存储的装置，应用于分布式文件系统，如图3所示，包括：

获取单元301，用于获取待存储的数据文件的文件编号和连接键；其中，文件编号为预先根据预设的编号规则对数据文件进行编号得到，相互关联的数据文件具有相同的文件编号；连接键为用于对数据文件进行查询连接的字段。

分类单元302，用于针对每一个数据文件，将数据文件中的数据按照各个连接键进行分类，得到各个连接键对应的数据。

存储单元303，用于针对每一个数据文件，将数据文件中同一连接键对应的数据存储到同一个数据块中，得到数据文件的各个数据块；其中，每一个数据块通过连接键以及文件编号进行标识。

分配单元304，用于基于各个数据块的文件编号和连接键，将各个数据块分配到数据节点上进行存储。

本实施例中，获取单元301、分类单元302、存储单元303、分配单元304的具体执行过程，可参见对应图1的方法实施例内容，此处不再赘述。

本申请提供的一种数据存储的装置中，首先获取单元301获取待存储的数据文件的文件编号和连接键；其中，文件编号为预先根据预设的编号规则对数据文件进行编号得到，相互关联的数据文件具有相同的文件编号；连接键为用于对数据文件进行查询连接的字段。针对每一个数据文件，分类单元302将数据文件中的数据按照各个连接键进行分类，得到各个连接键对应的数据。然后针对每一个数据文件，存储单元303将数据文件中同一连接键对应的数据存储到同一个数据块中，得到数据文件的各个数据块；其中，每一个数据块通过连接键以及文件编号进行标识。最后分配单元304基于各个数据块的文件编号和连接键，将各个数据块分配到数据节点上进行存储。由此可知，利用本申请的方法，在进行数据存储时，将数据文件中的数据按照连接键来进行分类，得到各个连接键对应的数据，并将同一接键对应的数据存储到同一个数据块中，之后再按照文件编号和连接键将数据块分配到数据节点上，使得相互关联的数据块存储到相同的数据节点上，因此，在进行数据库查询连接时，可以直接通过本地数据传输即可完成数据库查询连接操作。解决了现有技术中在数据库查询连接的过程中，需要进行大量的网络传输，消耗了较多的时间和网络资源，使得整个数据库查询连接的查询效率大大降低的问题。

可选的，在本申请的另一实施例中，上述分类单元302的一种实施方式，包括：

分区子单元，用于将数据文件按照连接键进行分区操作，得到各个连接键对应的数据。

本实施例中，分区子单元的具体执行过程，可参见上述对应的方法实施例内容，此处不再赘述。

可选的，在本申请的另一实施例中，上述分配单元304的一种实施方式，包括：

筛选子单元，用于将各个数据块按照文件编号和连接键进行分类处理，筛选出文件编号和连接键均相同的数据块。

分配子单元，用于将文件编号和连接键均相同的数据块，分配到相同的数据节点上进行存储。

本实施例中，筛选子单元、分配子单元的具体执行过程，可参见上述对应的方法实施例内容，此处不再赘述。

可选的，在本申请的另一实施例中，上述数据存储的装置，还可以包括：

日志生成单元，用于生成数据存储的存储日志。

本实施例中，日志生成单元的具体执行过程，可参见上述对应的方法实施例内容，此处不再赘述。

本申请另一实施例还提供了一种电子设备，如图4所示，具体包括：

一个或多个处理器401。

存储装置402，其上存储有一个或多个程序。

当一个或多个程序被一个或多个处理器401执行时，使得一个或多个处理器401实现如上述实施例中任意一项方法。

本申请另一实施例还提供了计算机存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现如上述实施例中任意一项方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种数据存储的方法，其特征在于，应用于分布式文件系统，其中，所述数据存储的方法，包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述数据文件中的数据按照各个所述连接键进行分类，得到各个所述连接键对应的数据，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于各个所述数据块的所述文件编号和所述连接键，将各个所述数据块分配到数据节点上进行存储，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于各个所述数据块的所述文件编号和所述连接键，将各个所述数据块分配到数据节点上进行存储之后，还包括：

生成数据存储的存储日志。

5.一种数据存储的装置，其特征在于，应用于分布式文件系统，其中，所述数据存储的装置，包括：

6.根据权利要求5所述的装置，其特征在于，所述分类单元，包括：

7.根据权利要求5所述的装置，其特征在于，所述分配单元，包括：

8.根据权利要求5所述的装置，其特征在于，还包括：

日志生成单元，用于生成数据存储的存储日志。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至4中任意一项所述的方法。

10.一种计算机存储介质，其特征在于，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至4中任意一项所述的方法。