CN108052622A

CN108052622A - 一种基于非关系型数据库的存储方法、装置以及设备

Info

Publication number: CN108052622A
Application number: CN201711351419.1A
Authority: CN
Inventors: 王鑫; 杨文浩
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2017-12-15
Filing date: 2017-12-15
Publication date: 2018-05-18

Abstract

本发明公开了一种基于非关系型数据库的存储方法，所述方法包括：将文件进行分片处理；调用相关指令获取文件的分片情况；根据所述文件的分片情况，将分片处理后的所述文件的各数据段分别存储到对应的服务器中。通过对用户提交的文件进行分片处理，并把文件的各数据段存储到不同的服务器中，每个服务器管理其所存储的数据段的子集映射，通过mongos路由管理各数据段，协调各服务器进行数据存储，可以较好地满足海量数据存储的需求。本发明还公开了一种基于非关系型数据库的存储装置、设备以及计算机可读存储介质，均具有上述技术效果。

Description

一种基于非关系型数据库的存储方法、装置以及设备

技术领域

本发明涉及数据存储领域，特别涉及一种基于非关系型数据库的存储方法；还涉及一种基于非关系型数据库的存储装置、设备以及计算机可读存储介质。

背景技术

随着网络的快速发展，数据存储的数量也急速增长，对这些海量数据进行存储的需求也变得愈发急迫。传统的主流网络存储在存储结构化数据时，大多为采用大中型关系型数据库实现的数据存储，如Oracle数据库等。但是，目前这种的传统存储系统已难以满足大数据的需求。

因此，如何进行海量数据的存储，满足海量数据存储的需求是本领域技术人员亟待解决的技术问题。

发明内容

本发明的目的是提供一种基于非关系型数据库的存储方法，可以协调各服务器进行海量数据的存储，较好地满足了海量数据存储的需求。本发明的另一个目的是提供一种基于非关系型数据库的存储装置、设备以及计算机可读存储介质，均具有上述技术效果。

为解决上述技术问题，本发明提供了一种基于非关系型数据库的存储方法，所述方法包括：

将文件进行分片处理；

调用相关指令获取所述文件的分片情况；

根据所述文件的分片情况，将分片处理后的所述文件的各数据段分别存储到对应的服务器中。

优选的，所述将文件进行分片处理包括：

根据用户自定义的分片方式对所述文件进行分片处理。

优选的，所述将分片处理后的所述文件的各数据段分别存储到对应的服务器中包括：

调用相关指令，获取各所述服务器中活动的CPU的个数，并从各所述服务器的配置文件中获取各所述服务器的节点数；

根据各所述服务器的节点数，创建相应容量的mongodb连接池；

根据所述CPU的个数，创建相应数量的读写线程以及相应容量的读写连接池；

利用所述读写线程将所述各数据段分别存储到对应的服务器中。

优选的，所述利用所述读写线程将所述各数据段分别存储到对应的服务器中包括：

初始化mongodb连接；

打开数据库及集合Mg Set；

创建二进制文档对象；

根据各所述数据段的大小，将各所述数据段填充到二进制数组中；

设置键值对，通过所述键值对，将所述二进制数组中的各所述数据段存储到对应的服务器中。

本发明还提供了一种基于非关系型数据库的存储装置，所述装置包括：

分片单元，用于将文件进行分片处理；

调用单元，用于调用相关指令获取所述文件的分片情况；

执行单元，用于根据所述文件的分片情况，将分片处理后的所述文件的各数据段分别存储到对应的服务器中。

优选的，所述分片单元具体用于：

根据用户自定义的分片方式对所述文件进行分片处理。

优选的，所述执行单元包括：

获取子单元，用于调用相关指令，获取各所述服务器中活动的CPU的个数，并从各所述服务器的配置文件中获取各所述服务器的节点数；

第一创建子单元，用于根据各所述服务器的节点数，创建相应容量的mongodb连接池；

第二创建子单元，用于根据所述CPU的个数，创建相应数量的读写线程以及相应容量的读写连接池；

存储子单元，用于利用所述读写线程将所述各数据段分别存储到对应的服务器中。

优选的，所述存储子单元具体用于：

初始化mongodb连接；

打开数据库及集合Mg Set；

创建二进制文档对象；

本发明还提供了一种基于非关系型数据库的存储设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述任一项所述的基于非关系型数据库的存储方法的步骤。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的基于非关系型数据库的存储方法的步骤。

本发明所提供的基于非关系型数据库的存储方法，包括：将文件进行分片处理；调用相关指令获取所述文件的分片情况；根据所述文件的分片情况，将分片处理后的所述文件的各数据段分别存储到对应的服务器中。通过对用户提交的文件进行分片处理，并把各数据存储到不同的服务器中，每个服务器管理各数据段的子集映射。这样用户无需知道各数据段存储的位置，而通过mongos路由管理各数据段，可以较好地满足海量数据存储的需求。

本发明所提供的基于非关系型数据库的存储装置、设备以及计算机可读存储介质，均具有上述技术效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所提供的基于非关系型数据库的存储方法的流程示意图；

图2为本发明实施例所提供的基于非关系型数据库的存储装置的示意图；

图3为本发明实施例所提供的基于非关系型数据库的存储设备的示意图。

具体实施方式

本发明的核心是提供一种基于非关系型数据库的存储方法，可以协调各服务器进行数据存储，较好地满足了海量数据存储的需求。本发明的另一个核心是提供一种基于非关系型数据库的存储装置、设备以及计算机可读存储介质，均具有上述技术效果。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例所提供的基于非关系型数据库的存储方法的流程示意图；结合该示意图可知，该存储方法可以包括：

S100：将文件进行分片处理；

具体的，本发明中的数据库可以存储多种二进制文件，对各二进制文件进行存储时，需首先对各二进制文件进行分片处理，即将各二进制文件分割成多个数据段，进而将各数据段以记录的方式存储到数据库中。其中，对二进制文件进行分片处理时，可以为系统主动进行文件分片，即根据系统默认分片处理方式进行文件分片；还可以为根据用户自定的分片处理方式进行文件分片。

优选的，将文件进行分片处理包括：

根据用户自定义的分片方式对文件进行分片处理。

具体的，用户可以预先自定义文件分片的方式，当系统接收到文件后即可根据用户自定义的分片方式对该文件进行分片处理。例如，用户自定义文件分片处理中各数据段的长度，系统接收到文件后，便可根据该长度，将文件分割成多个相应长度的数据段。

S200：调用相关指令获取文件的分片情况；

S300：根据文件的分片情况，将分片处理后的文件的各数据段分别存储到对应的服务器中。

具体的，可以通过调用Runtime.get Runtime().available Processors()指令，从服务器的配置文件中获取文件的分片情况。为了实现负载均衡，可以将同一个文件的各个数据段分布地存储到不同的服务器中，每个服务器管理其所存储的数据段的子集映射，应用程序则可以通过mongos路由与各服务器进行通信以读取相关数据段。

优选的，将分片处理后的所述文件的各数据段分别存储到对应的服务器中包括：

调用相关指令，获取各服务器中活动的CPU的个数，并从各服务器的配置文件中获取各服务器的节点数；

根据各服务器的节点数，创建相应容量的mongodb连接池；

根据CPU的个数，创建相应数量的读写线程以及相应容量的读写连接池；

利用读写线程将各数据段存储到对应的服务器中。

具体的，可以调用Runtime.get Runtime().available Processors()指令，获取各服务器中活动的CPU的个数，并从各服务器的配置文件中获取各服务器的节点数；其中，服务器的配置过程可以通过调用相关命令进行配置。本发明实施例中分别开启了一个Config服务器和两个Shard分片，当然，可以根据实际需要调整Config服务器的个数以及Shard分片的个数，对此本发明不作具体限定。进一步，根据各服务器的节点数，创建相应容量的mongodb连接池，其中，mongodb连接池中各个连接均具备自有属性。进一步，根据服务器中活动的CPU的个数，创建相应数量的读写线程以及相应容量的读写连接池；完成上述建立mongodb连接池以及读写连接池的基础上，在主线程的控制下，建立互斥锁，并将各数据段分配给各读写线程，利用各读写线程将各数据段分别存储到对应的服务器中。

此外，利用各读写线程将各数据段分别存储到对应的服务器中后，还可以进一步执行释放互斥锁、各读写线程并于主线程归集以及计算主任务持续时间等操作。

优选的，利用读写子线程将各数据段分别存储到对应的服务器中包括：

初始化mongodb连接；

打开数据库及集合Mg Set；

创建二进制文档对象；

根据各数据段的大小，将各数据段填充到二进制数组中；

设置键值对，通过键值对，将二进制数组中的各数据段存储到对应的服务器中。

具体的，可以通过执行初始化mongodb连接、打开数据库及集合Mg Set、创建二进制文档对象、根据分割后各数据段的大小，将各数据段填充到二进制数组中、设置键值对，通过该键值对，即<Key,Value>将二进制数组中的数据段存储到对应的服务器中等操作，完成各数据段的存储。

另外，执行上述存储过程的云平台的硬件平台可以选用i53420处理器架构的主机5台，各主机的内存型号可以为DDR3 8GB，硬盘可以为具有SATA接口500GB容量的硬盘。其中，云计算所需的网络带宽配置可以为1Gbps，可选用带电口和光口的交换机，交换机背板带宽可为4Gbps。此外，可以选用10台相同型号的工作站，工作站配置4GB内存，CPU架构则无限制，可根据实际情况确定。软件平台可选用windows系统，操作系统可以为Windowsserver 2008，工作站操作系统则无特殊要求，同样可根据实际情况确定。配置过程中，可以首先下载Mongo DB数据库，使用命令的方式安装Mongo DB，安装完成后，通过mongodb程序启动Mongo DB进程，将Mongo DB安装为系统服务。Mongo DB正常工作后，默认端口为27017，开发人员端口为28017。其次，开发软件的选型可选用VS2008，开发语言可选用C#.NET。

综上所述，本发明所提供的基于非关系型数据库的存储方法，将文件进行分片处理；调用相关指令获取所述文件的分片情况；根据所述文件的分片情况，将分片处理后的所述文件的各数据段存储到对应的服务器中。通过对用户提交的文件进行分片处理，并把各数据存储到不同的服务器中，每个服务器管理各数据段的子集映射；通过mongos路由管理各数据段，协调各服务器进行数据存储，可以较好地满足大数据存储的需求。

本发明还提供了一种基于非关系型数据库的存储装置，请参考图2，图2为本发明实施例所提供的基于非关系型数据库的存储装置的示意图，通过该示意图可知，该装置可以包括：

分片单元10，用于将文件进行分片处理；

调用单元20，用于调用相关指令获取文件的分片情况；

执行单元30，用于根据文件的分片情况，将分片处理后的文件的各数据段分别存储到对应的服务器中。

优选的，分片单元10具体用于：

根据用户自定义的分片方式对文件进行分片处理。

优选的，执行单元30包括：

获取子单元，用于调用相关指令，获取各服务器中活动的CPU的个数，并从各服务器的配置文件中获取各服务器的节点数；

第一创建子单元，用于根据各服务器的节点数，创建相应容量的mongodb连接池；

第二创建子单元，用于根据CPU的个数，创建相应数量的读写线程以及相应容量的读写连接池；

存储子单元，用于利用读写线程将各数据段分别存储到对应的服务器中。

优选的，存储子单元具体用于：

初始化mongodb连接；

打开数据库及集合Mg Set；

创建二进制文档对象；

根据各数据段的大小，将各数据段填充到二进制数组中；

本发明还提供了一种基于非关系型数据库的存储设备，请参考图3，图3为本发明实施例所提供的基于非关系型数据库的存储设备的示意图；包括：

存储器1，用于存储计算机程序；

处理器2，用于执行计算机程序时实现如下步骤：

将文件进行分片处理；调用相关指令获取文件的分片情况；根据文件的分片情况，将分片处理后的文件的各数据段分别存储到对应的服务器中。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、设备以及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的基于非关系型数据库的存储方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围。

Claims

1.一种基于非关系型数据库的存储方法，其特征在于，所述方法包括：

将文件进行分片处理；

调用相关指令获取所述文件的分片情况；

2.根据权利要求1所述的方法，其特征在于，所述将文件进行分片处理包括：

根据用户自定义的分片方式对所述文件进行分片处理。

3.根据权利要求1所述的方法，其特征在于，所述将分片处理后的所述文件的各数据段分别存储到对应的服务器中包括：

根据各所述服务器的节点数，创建相应容量的mongodb连接池；

4.根据权利要求3所述的方法，其特征在于，所述利用所述读写线程将所述各数据段分别存储到对应的服务器中包括：

初始化mongodb连接；

打开数据库及集合Mg Set；

创建二进制文档对象；

5.一种基于非关系型数据库的存储装置，其特征在于，所述装置包括：

分片单元，用于将文件进行分片处理；

调用单元，用于调用相关指令获取所述文件的分片情况；

6.根据权利要求5所述的装置，其特征在于，所述分片单元具体用于：

根据用户自定义的分片方式对所述文件进行分片处理。

7.根据权利要求5所述的装置，其特征在于，所述执行单元包括：

8.根据权利要求7所述的装置，其特征在于，所述存储子单元具体用于：

初始化mongodb连接；

打开数据库及集合Mg Set；

创建二进制文档对象；

9.一种基于非关系型数据库的存储设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述的基于非关系型数据库的存储方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的基于非关系型数据库的存储方法的步骤。