CN104731907A - 基于nosql的数据存储方法 - Google Patents
基于nosql的数据存储方法 Download PDFInfo
- Publication number
- CN104731907A CN104731907A CN201510129427.6A CN201510129427A CN104731907A CN 104731907 A CN104731907 A CN 104731907A CN 201510129427 A CN201510129427 A CN 201510129427A CN 104731907 A CN104731907 A CN 104731907A
- Authority
- CN
- China
- Prior art keywords
- nosql
- file
- data
- storage
- storage method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于NOSQL的数据存储方法，该存储方法是基于NOSQL中文件数据的存储技术，通过分布式计算、网络存储、集群和虚拟化将多台计算机集中起来协同参与存储，共同向外界提供数据。本发明的基于NOSQL的数据存储方法和现有技术相比，既可满足于高并发读写性能需求，又可适用于服务器弹性扩展的需求；实现了文件型大数据的均衡存储，该方法的负载均衡能力和可扩展度均优于传统技术。
Description
技术领域
本发明涉及计算机数据存储技术领域，具体地说是一种基于NOSQL的数据存储方法。
背景技术
网络存储中的三种基本结构 (1)为DAS存储、(2)为NAS存储、(3)为SAN存储。其中，直接附加存储(DAS)应用于存规模不大，存储需求简单的场合。磁盘阵列、光盘塔或磁带机等通过SCSI接口或者光口与服务器直连，这些外部存储设备的数据共享仅限于单台服务器的内部，不能实现外部数据共享。相对于DAS而言，NAS是一种改进DAS网络文件存储，在NAS存储网络中，NAS设备有自己的数据操作和管理系统，对外提供IP地址，有了NAS中嵌入式存储系统的支持，本地局域网中的服务器和客户机都可以直接访问NAS服务器，提供一种安装简易、高性价比和高可用的低成本存储。与前者不同的是，SAN通过光纤交换机(FC协议)将存储设备连接起来，形成以光纤介质为主的存储网络。SAN存储网络中，存储功能被剥离，数据以集中方式存储。
随着云计算中不断增长的文件数据存储需求，传统的信息系统和文件系统混合存储文件数据的方法已经不能满足现有的海量文件数据存储要求。
发明内容
本发明的技术任务是提供一种基于NOSQL的数据存储方法。
本发明的技术任务是按以下方式实现的，该存储方法是基于NOSQL中文件数据的存储技术，通过分布式计算、网络存储、集群和虚拟化将多台计算机集中起来协同参与存储，共同向外界提供数据。
所述的文件在存储时当二进制文件存储到MongoDB数据库，使得同一个文件的多个分片分布地存储于分片服务器中，每个分片服务管理所有数据的子集映射，由mongos路由进程管理，应用程序通过mongos实现与多个分片服务器的通信。
所述的存储方法的存储信息流程步骤如下：
步骤1：获得服务器中活动的CPU 数量，并从配置文件中获取服务器节点数及数据分片情况；
步骤2：建立MongoDB连接池，连接池容量由服务器节点数确定，每个连接都具备自有属性；
步骤3：根据CPU个数确定读写线程，并初始化mongo连接，同时还要创建读/写连接池；
步骤4：在主线程任务控制下，建立互斥锁，使得多个读写进程协调工作；
步骤5：主线程分配数据分片，协调完成各数据分片的存取；
步骤6：互斥锁释放，各子线程完成子任务并于主线程归集；
步骤7：计算统计主任务持续时间，最后结束。
本发明的基于NOSQL的数据存储方法和现有技术相比，既可满足于高并发读写性能需求，又可适用于服务器弹性扩展的需求；实现了文件型大数据的均衡存储，该方法的负载均衡能力和可扩展度均优于传统技术。
附图说明
附图１为基于NOSQL的数据存储方法的流程框图。
附图２为基于M ongoDB的分布式文件存储系统的组成结构图。
具体实施方式
实施例1：
该存储方法是基于NOSQL中文件数据的存储技术，通过分布式计算、网络存储、集群和虚拟化将多台计算机集中起来协同参与存储，共同向外界提供数据。
文件在存储时当二进制文件存储到MongoDB数据库，使得同一个文件的多个分片分布地存储于分片服务器中，每个分片服务管理所有数据的子集映射，由mongos路由进程管理，应用程序通过mongos实现与多个分片服务器的通信。
所述的存储方法的存储信息流程步骤如下：
准备工作：硬件平台的准备工作主要是硬件的选型，包括服务器和若干台交换机。选用i53420处理器架构的主机5台，内存型号为DDR34GB，硬盘型号为500G B且具有SATA接口。云计算所需的骨干网络带宽需配置为1Gbps，选用带光口和电口的交换机，交换机背板带宽为4Gbps。准备10台相同型号的工作站，工作站配置4GB内存，CPU 架构无限制。下载MongoDB数据库，选用32位版本，使用命令的方式安装MongoDB，安装完成后，通过Mongod程序启动MongoDB进程，也可以将MongoDB安装为系统服务。MongoDB正常工作后，默认端口为27017，开发人员端口为28017。
步骤1：通过调用 Runtim e. getRuntim e().avai l abl eProcessors()功能，获得服务器中活动的CPU 数量，并从配置文件中获取服务器节点数及数据分片情况；
步骤2：建立MongoDB连接池，连接池容量由服务器节点数确定，每个连接都具备自有属性；
步骤3：根据CPU个数确定读写线程，并初始化mongo连接，同时还要创建读/写连接池；
步骤4：在主线程任务控制下，建立互斥锁，使得多个读写进程协调工作；
步骤5：主线程分配数据分片，协调完成各数据分片的存取；
步骤6：互斥锁释放，各子线程完成子任务并于主线程归集；
步骤7：计算统计主任务持续时间，最后结束。
名词解释：
非关系型数据库(NoSQL)为存储底层的云存储系统，这种系统将多台计算机集中起来协同参与存储，共同向外界提供数据存储服务，既可满足于高并发读写性能需求，又可适用于服务器弹性扩展的需求。
Mongo数据库是目前在IT行业非常流行的一种非关系型数据库(NoSql), 可应用于对高并发访问，高网络吞吐的计算场合。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的几种具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。
Claims (3)
1.基于NOSQL的数据存储方法，其特征在于，该存储方法是基于NOSQL中文件数据的存储技术，通过分布式计算、网络存储、集群和虚拟化将多台计算机集中起来协同参与存储，共同向外界提供数据。
2. 根据权利要求1所述的基于NOSQL的数据存储方法，其特征在于，所述的文件在存储时当二进制文件存储到MongoDB数据库，使得同一个文件的多个分片分布地存储于分片服务器中，每个分片服务管理所有数据的子集映射，由mongos路由进程管理，应用程序通过mongos实现与多个分片服务器的通信。
3.根据权利要求1所述的基于NOSQL的数据存储方法，其特征在于，所述的存储方法的存储信息流程步骤如下：
步骤1：获得服务器中活动的CPU 数量，并从配置文件中获取服务器节点数及数据分片情况；
步骤2：建立MongoDB连接池，连接池容量由服务器节点数确定，每个连接都具备自有属性；
步骤3：根据CPU个数确定读写线程，并初始化mongo连接，同时还要创建读/写连接池；
步骤4：在主线程任务控制下，建立互斥锁，使得多个读写进程协调工作；
步骤5：主线程分配数据分片，协调完成各数据分片的存取；
步骤6：互斥锁释放，各子线程完成子任务并于主线程归集；
步骤7：计算统计主任务持续时间，最后结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510129427.6A CN104731907A (zh) | 2015-03-24 | 2015-03-24 | 基于nosql的数据存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510129427.6A CN104731907A (zh) | 2015-03-24 | 2015-03-24 | 基于nosql的数据存储方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104731907A true CN104731907A (zh) | 2015-06-24 |
Family
ID=53455794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510129427.6A Pending CN104731907A (zh) | 2015-03-24 | 2015-03-24 | 基于nosql的数据存储方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104731907A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105183371A (zh) * | 2015-08-14 | 2015-12-23 | 山东大学 | 基于迁移均衡策略的用电信息分布式文件存储方法与装置 |
| CN105956041A (zh) * | 2016-04-26 | 2016-09-21 | 江苏物联网研究发展中心 | 基于Spring Data for MongoDB集群的数据模型处理方法 |
| CN107480184A (zh) * | 2017-07-06 | 2017-12-15 | 联动优势科技有限公司 | 一种数据访问方法及设备 |
| CN108052622A (zh) * | 2017-12-15 | 2018-05-18 | 郑州云海信息技术有限公司 | 一种基于非关系型数据库的存储方法、装置以及设备 |
| CN108829805A (zh) * | 2018-06-06 | 2018-11-16 | 福建南威软件有限公司 | 一种基于MongoDB的分片存储方法 |
| CN109408214A (zh) * | 2018-11-06 | 2019-03-01 | 北京字节跳动网络技术有限公司 | 一种数据的并行处理方法、装置、电子设备及可读介质 |
| CN109947743A (zh) * | 2019-02-28 | 2019-06-28 | 长沙理工大学 | 一种优化的NoSQL大数据存储方法及系统 |
| CN113127694A (zh) * | 2019-12-31 | 2021-07-16 | 深圳云天励飞技术有限公司 | 一种数据存储方法、装置、电子设备及存储介质 |
-
2015
- 2015-03-24 CN CN201510129427.6A patent/CN104731907A/zh active Pending
Non-Patent Citations (1)
| Title |
|---|
| 张艳霞，丰继林，郝伟，单维锋，沈焱萍: "基于NOSQL的文件型大数据存储技术研究", 《制造业自动化》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105183371A (zh) * | 2015-08-14 | 2015-12-23 | 山东大学 | 基于迁移均衡策略的用电信息分布式文件存储方法与装置 |
| CN105956041A (zh) * | 2016-04-26 | 2016-09-21 | 江苏物联网研究发展中心 | 基于Spring Data for MongoDB集群的数据模型处理方法 |
| CN107480184A (zh) * | 2017-07-06 | 2017-12-15 | 联动优势科技有限公司 | 一种数据访问方法及设备 |
| CN108052622A (zh) * | 2017-12-15 | 2018-05-18 | 郑州云海信息技术有限公司 | 一种基于非关系型数据库的存储方法、装置以及设备 |
| CN108829805A (zh) * | 2018-06-06 | 2018-11-16 | 福建南威软件有限公司 | 一种基于MongoDB的分片存储方法 |
| CN109408214A (zh) * | 2018-11-06 | 2019-03-01 | 北京字节跳动网络技术有限公司 | 一种数据的并行处理方法、装置、电子设备及可读介质 |
| CN109947743A (zh) * | 2019-02-28 | 2019-06-28 | 长沙理工大学 | 一种优化的NoSQL大数据存储方法及系统 |
| CN113127694A (zh) * | 2019-12-31 | 2021-07-16 | 深圳云天励飞技术有限公司 | 一种数据存储方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104731907A (zh) | 基于nosql的数据存储方法 | |
| US11042311B2 (en) | Cluster system with calculation and storage converged | |
| CN105978704B (zh) | 用于创建新的云资源指令集体系结构的系统和方法 | |
| Jeannot et al. | Near-optimal placement of MPI processes on hierarchical NUMA architectures | |
| US20230229637A1 (en) | Intelligent file system with transparent storage tiering | |
| US8464003B2 (en) | Method and apparatus to manage object based tier | |
| US10356150B1 (en) | Automated repartitioning of streaming data | |
| CN106385329B (zh) | 资源池的处理方法、装置和设备 | |
| CN102123176B (zh) | 一种网络存储系统空间分配管理方法及装置 | |
| CN104283959B (zh) | 一种适用于云平台的基于性能分级的存储机制 | |
| TW201351143A (zh) | 具有負載平衡演算法之儲存系統及其操作方法 | |
| CN105138281B (zh) | 一种物理磁盘的共享方法及装置 | |
| CN104219279A (zh) | 用于超大规模分布式处理应用的模块化架构的系统和方法 | |
| CN104410666A (zh) | 云计算下实现异构存储资源管理的方法及系统 | |
| CN109445690A (zh) | 一种raid卡性能优化方法、装置、终端及存储介质 | |
| WO2014184606A1 (en) | Identifying workload and sizing of buffers for the purpose of volume replication | |
| US9104496B2 (en) | Submitting operations to a shared resource based on busy-to-success ratios | |
| US9747135B2 (en) | Multi-dimension scheduling among multiple consumers | |
| US9069471B2 (en) | Passing hint of page allocation of thin provisioning with multiple virtual volumes fit to parallel data access | |
| US9690728B1 (en) | Burst buffer appliance comprising multiple virtual machines | |
| CN109298888A (zh) | 队列的数据存取方法及装置 | |
| CN111708601A (zh) | 一种面向云计算的智能存储网关、系统及其控制方法 | |
| US11336519B1 (en) | Evaluating placement configurations for distributed resource placement | |
| US8468303B2 (en) | Method and apparatus to allocate area to virtual volume based on object access type | |
| CN104462315A (zh) | 一种实现lustre文件系统对云渲染农场支持的方案 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150624 |
|
| WD01 | Invention patent application deemed withdrawn after publication |