CN109451069B - 基于分布式存储的网络数据文件库存储及查询方法 - Google Patents

Abstract

本发明公开了一种基于分布式存储的网络数据文件库存储及查询方法，能够将网络数据文件均衡分布在各个服务器节点中，又能快速的查询迅速找到对应的网络数据文件，并通过增加存储服务器节点时，新加入的节点由于负载较轻，在创建数据分区时，该存储节点被命中的概率较大，甚至会一直被命中，一定时间后，负载即可到达均衡，无需在系统扩容阶段进行不必要的数据迀移，将网络数据文件均衡地分布在各个存储服务器节点，实现对网络数据文件的有效存储，安全性能高，方法巧妙，容易实现，具有良好的应用前景。

Description

基于分布式存储的网络数据文件库存储及查询方法

技术领域

本发明涉及网络数据文件存储技术领域，具体涉及一种基于分布式存储的网络数据文件库存储及查询方法。

背景技术

伴随着互联网的高速发展，使得个人、企业、政府、教育在各类应用上的网络数据信息量发生井喷。这些网络数据信息具有容量大、形式多、访问速率快、并发量大等显著特点，以海量文件的方式存储。

当前，传统的文件存储方法对不断增长的海量文件进行处理已明显吃力。这对服务器提出了新的需求，也期盼拥有更高性能的计算系统能应用于生产实践当中。

随着网络数据文件规模变大时，通过增加服务器数量，即实现计算系统的横向扩展，将数据文件分散到各个存储节点，实现分布式存储。

但是，如何将网络数据文件均衡分布在各台服务器中，又能在查询阶段迅速找到对应的文件，包括应用程序如何与文件库连接、数据文件传输、数据文件命名、数据文件存储、数据文件查询、文件库负载均衡、以及容灾备份等问题，是当前急需解决的。

发明内容

本发明的目的是克服现有技术中随着网络数据文件规模变大，如何将网络数据文件均衡分布在各台服务器，并实现快速查询的问题。本发明的基于分布式存储的网络数据文件库存储及查询方法，能够将网络数据文件均衡分布在各个服务器节点中，又能快速的查询迅速找到对应的网络数据文件，并通过增加存储服务器节点时，新加入的节点由于负载较轻，在创建数据分区时， 该存储节点被命中的概率较大，甚至会一直被命中，一定时间后，负载即可到达均衡，无需在系统扩容阶段进行不必要的数据迀移，将网络数据文件均衡地分布在各个存储服务器节点，实现对网络数据文件的有效存储，安全性能高，方法巧妙，容易实现，具有良好的应用前景。

为了达到上述目的，本发明所采用的技术方案是：

一种基于分布式存储的网络数据文件库存储及查询方法，包括以下步骤，

步骤（A），建立服务器端内的应用程序与客户端内的网络数据文件库之间的连接；

步骤（B），将客户端内的网络数据文件库进行传输，并传输到最优服务器节点内；

步骤（C），将网络数据文件流数据包含的网络数据文件以应用程序标识、服务器节点标识、文件存储路径标识、文件类型标识、创建时间标识进行组合命名并加密；

步骤（D），将网络数据文件存储到最优服务器节点；

步骤（E），通过对网络数据文件的查询，从服务器端内调取相应的网络数据文件。

前述的基于分布式存储的网络数据文件库存储及查询方法，步骤（A），建立服务器端内的应用程序与客户端内的网络数据文件库之间的连接，包括以下步骤，

（A1），服务器端内的应用程序通过用户名、密码、连接端口与客户端内的网络数据文件库进行连接；

（A2），客户端接收到用户名和密码信息后，由客户端内的检测模块进行检测，检测通过后生成令牌；

（A3），通过客户端的加密模块用私钥对令牌进行签名，并通过其内部的发送模块将令牌及私钥签名的组合数据发送给服务器端；

（A4），服务器端的应用程序将收到的令牌及私钥签名的组合数据，以便传输网络数据文件时，验证签名，对网络数据文件数据解密。

前述的基于分布式存储的网络数据文件库存储及查询方法，步骤（B），将客户端内的网络数据文件库进行传输，并传输到最优服务器节点内，包括以下步骤，

（B1），客户端内的网络数据文件库令牌数据和文件流数据的发起请求；

（B2），客户端验证接收到的请求信息内携带的令牌数据，其的验证模块对签名进行验证，若签名合法，执行（B3）；

（B3），客户端将网络数据文件库内的网络数据文件通过私钥加密后传输服务器端，服务器端通过解密模块利用私钥对网络数据文件进行解密，并将接收到的网络数据文件流数据，选择最优服务器节点进行传输。

前述的基于分布式存储的网络数据文件库存储及查询方法，步骤（D），将网络数据文件存储到最优服务器节点，包括以下步骤，

（D1），设置服务器集群各存储节点的网络数据文件，采用redis方式存储；

（D2），服务器集群的各存储节点在redis库中设置有运行状况信息，所述运行状况信息包括节点的唯一识别码、节点名称、节点的硬件信息、节点的网络信息、存储空间信息、节点的状态信息；

（D3），每个存储节点定时向redis库推送最新的运行状况信息，以便网络数据文件根据各存储节点的运行状况，将对应的网络数据文件流传送到最优服务器节点进行存储。

前述的基于分布式存储的网络数据文件库存储及查询方法，步骤（E），通过对网络数据文件的查询，从服务器端内调取相应的网络数据文件，包括以下步骤，

（E1），应用程序向服务器端发起查询某个网络数据文件的请求，请求信息中包含该网络数据文件的唯一标识及令牌数据；

（E2），服务器端验证接收到的请求信息内携带的令牌数据，其的验证模块对签名进行验证，若签名合法，执行（E3）；

（E3），服务器解密模块利用私钥对令牌内容进行解密，并将要查询的文件从存储的对应的服务器节点中取出来，将文件流数据加密后返回给应用程序端。

前述的基于分布式存储的网络数据文件库存储及查询方法，（B3），选择最优服务器节点进行传输，是根据各服务器存储节点的实时负载状态、网络状况、计算性能、空间信息，将海量的网络数据文件均衡地分布到各个网络的存各服务器存储节点中，从而实现对海量网络数据文件的有效存储。

本发明的有益效果是：本发明的基于分布式存储的网络数据文件库存储及查询方法，能够将网络数据文件均衡分布在各个服务器节点中，又能快速的查询迅速找到对应的网络数据文件，并通过增加存储服务器节点时，新加入的节点由于负载较轻，在创建数据分区时， 该存储节点被命中的概率较大，甚至会一直被命中，一定时间后，负载即可到达均衡，无需在系统扩容阶段进行不必要的数据迀移，将网络数据文件均衡地分布在各个存储服务器节点，实现对网络数据文件的有效存储，安全性能高，方法巧妙，容易实现，具有良好的应用前景。

附图说明

图1是本发明的基于分布式存储的网络数据文件库存储及查询方法的流程图。

具体实施方式

下面将结合说明书附图，对本发明作进一步的说明。

如图1所示，本发明的基于分布式存储的网络数据文件库存储及查询方法，包括以下步骤，

步骤（A），建立服务器端内的应用程序与客户端内的网络数据文件库之间的连接，包括以下步骤，

（A1），服务器端内的应用程序通过用户名、密码、连接端口与客户端内的网络数据文件库进行连接；

（A2），客户端接收到用户名和密码信息后，由客户端内的检测模块进行检测，检测通过后生成令牌；

（A3），通过客户端的加密模块用私钥对令牌进行签名，并通过其内部的发送模块将令牌及私钥签名的组合数据发送给服务器端；

（A4），服务器端的应用程序将收到的令牌及私钥签名的组合数据，以便传输网络数据文件时，验证签名，对网络数据文件数据解密；

步骤（B），将客户端内的网络数据文件库进行传输，并传输到最优服务器节点内，包括以下步骤，

（B1），客户端内的网络数据文件库令牌数据和文件流数据的发起请求；

（B2），客户端验证接收到的请求信息内携带的令牌数据，其的验证模块对签名进行验证，若签名合法，执行（B3）；

（B3），客户端将网络数据文件库内的网络数据文件通过私钥加密后传输服务器端，服务器端通过解密模块利用私钥对网络数据文件进行解密，并将接收到的网络数据文件流数据，选择最优服务器节点进行传输，选择最优服务器节点进行传输，是根据各服务器存储节点的实时负载状态、网络状况、计算性能、空间信息，将海量的网络数据文件均衡地分布到各个网络的存各服务器存储节点中，从而实现对海量网络数据文件的有效存储。

步骤（C），将网络数据文件流数据包含的网络数据文件以应用程序标识、服务器节点标识、文件存储路径标识、文件类型标识、创建时间标识进行组合命名并加密，以便应用程序查询文件时，只要对文件名进行解密，就可以知道文件的所有相关信息，可以快速定位到所需要的网络数据文件，不必通过索引表进行检索，以利于应用程序在海量文件中，迅速找到所需要的网络数据文件；

步骤（D），将网络数据文件存储到最优服务器节点，包括以下步骤，

（D1），设置服务器集群各存储节点的网络数据文件，采用redis方式存储，redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API；

（D2），服务器集群的各存储节点在redis库中设置有运行状况信息，所述运行状况信息包括节点的唯一识别码、节点名称、节点的硬件信息、节点的网络信息、存储空间信息、节点的状态信息；

（D3），每个存储节点定时向redis库推送最新的运行状况信息，以便网络数据文件根据各存储节点的运行状况，将对应的网络数据文件流传送到最优服务器节点进行存储；

步骤（E），通过对网络数据文件的查询，从服务器端内调取相应的网络数据文件，包括以下步骤，

（E1），应用程序向服务器端发起查询某个网络数据文件的请求，请求信息中包含该网络数据文件的唯一标识及令牌数据；

（E2），服务器端验证接收到的请求信息内携带的令牌数据，其的验证模块对签名进行验证，若签名合法，执行（E3）；

（E3），服务器解密模块利用私钥对令牌内容进行解密，并将要查询的文件从存储的对应的服务器节点中取出来，将文件流数据加密后返回给应用程序端。

本发明基于分布式存储的网络数据文件库存储及查询方法，所述数据容灾：分布式网络文件库将一个文件同时存储在不同的网络节点上，形成多个副本分布在不同的网络服务器上，增强存储集群的容灾特性；所述分布式网络文件库在增加存储节点时，由于新增存储节点上面存储的数据文件比较少，被查询的概率也较小，所以新加入的存储节点负载较轻，文件库在调度选择最优存储节点时，该存储节点被命中的概率较大，运行一定时间后，文件库会自动完成数据存储均衡。从而使得分布式网络文件库在系统扩容方面，做到平滑扩容，对现有存储的数据文件，无需迁移；网络数据安全：网络数据文件库在数据文件存储、查询等操作的网络传输过程中，均对传输数据进行了加密，有效防止了文件传输过程中被劫持或被篡改，从而保障了网站数据文件安全。

综上所述，本发明的基于分布式存储的网络数据文件库存储及查询方法，能够将网络数据文件均衡分布在各个服务器节点中，又能快速的查询迅速找到对应的网络数据文件，并通过增加存储服务器节点时，新加入的节点由于负载较轻，在创建数据分区时， 该存储节点被命中的概率较大，甚至会一直被命中，一定时间后，负载即可到达均衡，无需在系统扩容阶段进行不必要的数据迀移，将网络数据文件均衡地分布在各个存储服务器节点，实现对网络数据文件的有效存储，安全性能高，方法巧妙，容易实现，具有良好的应用前景。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (2)

1.基于分布式存储的网络数据文件库存储及查询方法，其特征在于：包括以下步骤，

步骤（A），建立服务器端内的应用程序与客户端内的网络数据文件库之间的连接；

步骤（B），将客户端内的网络数据文件库进行传输，并传输到最优服务器节点内；

步骤（C），将网络数据文件流数据包含的网络数据文件以应用程序标识、服务器节点标识、文件存储路径标识、文件类型标识、创建时间标识进行组合命名并加密；

步骤（D），将网络数据文件存储到最优服务器节点；

步骤（E），通过对网络数据文件的查询，从服务器端内调取相应的网络数据文件,

其中，步骤（A），建立服务器端内的应用程序与客户端内的网络数据文件库之间的连接，包括以下步骤，

（A1），服务器端内的应用程序通过用户名、密码、连接端口与客户端内的网络数据文件库进行连接；

（A2），客户端接收到用户名和密码信息后，由客户端内的检测模块进行检测，检测通过后生成令牌；

（A3），通过客户端的加密模块用私钥对令牌进行签名，并通过其内部的发送模块将令牌及私钥签名的组合数据发送给服务器端；

（A4），服务器端的应用程序将收到的令牌及私钥签名的组合数据，以便传输网络数据文件时，验证签名，对网络数据文件数据解密；

步骤（B），将客户端内的网络数据文件库进行传输，并传输到最优服务器节点内，包括以下步骤，

（B1），客户端内的网络数据文件库令牌数据和文件流数据的发起请求；

（B2），客户端验证接收到的请求信息内携带的令牌数据，其的验证模块对签名进行验证，若签名合法，执行（B3）；

（B3），客户端将网络数据文件库内的网络数据文件通过私钥加密后传输服务器端，服务器端通过解密模块利用私钥对网络数据文件进行解密，并将接收到的网络数据文件流数据，选择最优服务器节点进行传输，是根据各服务器存储节点的实时负载状态、网络状况、计算性能、空间信息，将海量的网络数据文件均衡地分布到各个网络的存各服务器存储节点中，从而实现对海量网络数据文件的有效存储；

步骤（D），将网络数据文件存储到最优服务器节点，包括以下步骤，

（D1），设置服务器集群各存储节点的网络数据文件，采用redis方式存储；

（D2），服务器集群的各存储节点在redis库中设置有运行状况信息，所述运行状况信息包括节点的唯一识别码、节点名称、节点的硬件信息、节点的网络信息、存储空间信息、节点的状态信息；

（D3），每个存储节点定时向redis库推送最新的运行状况信息，以便网络数据文件根据各存储节点的运行状况，将对应的网络数据文件流传送到最优服务器节点进行存储。

2.根据权利要求1所述的基于分布式存储的网络数据文件库存储及查询方法，其特征在于：步骤（E），通过对网络数据文件的查询，从服务器端内调取相应的网络数据文件，包括以下步骤，

（E1），应用程序向服务器端发起查询某个网络数据文件的请求，请求信息中包含该网络数据文件的唯一标识及令牌数据；

（E2），服务器端验证接收到的请求信息内携带的令牌数据，其的验证模块对签名进行验证，若签名合法，执行（E3）；

（E3），服务器解密模块利用私钥对令牌内容进行解密，并将要查询的文件从存储的对应的服务器节点中取出来，将文件流数据加密后返回给应用程序端。

Images