CN101901273B - 一种基于内存磁盘的高性能存储方法及其装置 - Google Patents

一种基于内存磁盘的高性能存储方法及其装置 Download PDF

Info

Publication number
CN101901273B
CN101901273B CN2010102529100A CN201010252910A CN101901273B CN 101901273 B CN101901273 B CN 101901273B CN 2010102529100 A CN2010102529100 A CN 2010102529100A CN 201010252910 A CN201010252910 A CN 201010252910A CN 101901273 B CN101901273 B CN 101901273B
Authority
CN
China
Prior art keywords
memory disk
memory
disk
cache size
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2010102529100A
Other languages
English (en)
Other versions
CN101901273A (zh
Inventor
梁捷
谭蔚华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Cloud Computing Ltd
Original Assignee
Ucweb Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ucweb Inc filed Critical Ucweb Inc
Priority to CN2010102529100A priority Critical patent/CN101901273B/zh
Publication of CN101901273A publication Critical patent/CN101901273A/zh
Application granted granted Critical
Publication of CN101901273B publication Critical patent/CN101901273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明涉及磁盘存储技术领域,特别是一种基于内存磁盘的高性能存储方法及其装置,采用XFS格式对内存磁盘进行格式化分区,所述存储方法包括以下步骤:系统设置内存磁盘节点数的节点设置步骤;系统设置内存磁盘缓存大小的缓存大小设置步骤;系统设置内存磁盘缓存次数的缓存次数设置步骤;系统设置内存磁盘线程数目的线程设置步骤。本发明的技术方案,提高了硬盘的速度,使得在一台服务器上面,用合理的成本,达到多台服务器才能达到的性能。

Description

一种基于内存磁盘的高性能存储方法及其装置
技术领域
本发明设计磁盘存储技术领域,特别是一种基于内存磁盘的高性能存储方法及其装置。
背景技术
    互联网应用都是面对数以万计的用户访问,后台数据库的压力通常非常大,特别在游戏之类的数据库应用,都需要非常频繁的读写。
1.移动互联网游戏数据库存储
很多游戏都需要利用数据库的互锁功能,实现用户抢占资源的功能,这样会对数据库造成非常大的读写压力,通常的解决方法,是使用磁盘阵列,或者把用户进行分区管理,把用户分布到不同的数据库内,藉此降低单个数据库的压力,但面临的问题是:这样会增加管理成本,而且也制约了用户量的快速增长,当有非常多的用户时,分布到不同数据库也就会带来数据同步的问题了。
2.移动互联网高速缓存存储
现在移动互联网领域,web应用的速度要求越来越高,用户都是希望能在操作后,能马上看到他有兴趣的内容,这样,移动互联网的服务提供商,就必须缓存一些热门的网页,供用户点播使用。现有的解决方案,是用操作系统内的内存进行缓存,但假如服务器异常重启,或者服务器死机,这些缓存就会丢失,又要有一个比较长的时间,才能重新累积这些缓存;而用硬盘作为缓存的话,速度又有非常大的制约。
现有技术由于受到采用的硬盘的速度制约,导致系统不能高速处理。
发明内容
本发明的第一个发明目的在于提供一种基于内存磁盘的高性能存储方法,以解决现有技术的硬盘速度不足的技术问题。
为了实现本发明的第一个发明目的,采用的技术方案如下:
一种基于内存磁盘的高性能存储方法,所述内存磁盘采用内存作为存储介质,内存磁盘用于电脑,作为存储硬盘,采用XFS格式对内存磁盘进行格式化分区,所述存储方法包括以下步骤:
系统设置内存磁盘节点数的节点设置步骤;
系统设置内存磁盘缓存大小的缓存大小设置步骤;
系统设置日志型缓冲配置使能的日志型缓冲设置步骤;
系统设置内存磁盘线程数目的线程设置步骤。
作为一种优选方案,所述节点设置步骤设置内存磁盘节点数为内存磁盘单个存储器芯片的最大寻址范围。
作为进一步的优选方案,所述节点设置步骤设置内存磁盘节点数为1024KB。
作为一种优选方案,所述缓存大小设置步骤设置缓存大小为内存磁盘单个存储器芯片的最大寻址范围。
作为进一步的优选方案,所述缓存大小设置步骤设置缓存大小为1024KB。
作为一种优选方案,所述日志型缓冲设置步骤设置为打开日志型缓冲。
作为一种优选方案,所述线程设置步骤设置内存磁盘线程数目为电脑中央处理器的线程数的整数倍。
作为进一步的优选方案,所述线程设置步骤设置内存磁盘线程数目为电脑中央处理器的线程数的4倍。
本发明的第二个发明目的在于提供一种基于内存磁盘的高性能存储装置,以应用本发明第一个发明目的所提供的存储方法。
为了实现第二个发明目的,采用的技术方案如下:
一种基于内存磁盘的高性能存储装置,所述内存磁盘采用内存作为存储介质,内存磁盘用于电脑,作为存储硬盘,采用XFS格式对内存磁盘进行格式化分区,所述存储装置包括以下模块:
用于设置内存磁盘节点数的节点设置模块;
用于设置内存磁盘缓存大小的缓存大小设置模块;
用于设置日志型缓冲配置使能的日志型缓冲模块;
用于设置内存磁盘线程数目的线程设置模块。
作为一种优选方案:
所述节点设置模块设置内存磁盘节点数为1024KB;
所述缓存大小设置模块设置内存磁盘缓存大小为1024KB;
所述日志型缓冲设置模块设置为打开日志型缓冲;
所述线程设置模块设置内存磁盘线程数目为电脑中央处理器的线程数的4倍。
现有的大容量数据库应用,需要把用户分布到很多服务器,这些服务器除了需要采购成本,还有后期的电力、维护成本。而本发明的技术方案,提高了硬盘的速度,使得在一台服务器上面,用合理的成本,达到多台服务器才能达到的性能。
附图说明
图1为本发明实施例的流程图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细的说明。
如图1所示为本发明实施例的流程图。
本实施例提供一种基于内存磁盘的高性能存储方法,其中内存磁盘采用内存作为存储介质,内存磁盘用于电脑,作为存储硬盘,在本实施例中内存磁盘采用基于易失性内存和电池、cf卡的硬件系统。
采用XFS格式对内存磁盘进行格式化分区,所述存储方法包括以下步骤:
系统设置内存磁盘节点数的节点设置步骤;
系统设置内存磁盘缓存大小的缓存大小设置步骤;
系统设置内存磁盘缓存次数的缓存次数设置步骤;
系统设置内存磁盘线程数目的线程设置步骤。
具体的分区参数设置如下:
mkfs.xfs -f -i size=1024KB -l size=1024KBm,lazy-count=1 -d agcount=32 系统中裸设备名称。
其中第一个参数size为内存磁盘节点数,设置为1024KB,为内存磁盘单个存储器芯片的最大寻址范围。
第二个参数size为缓存大小,设置为1024KB,为内存磁盘单个存储器芯片的最大寻址范围。
第三个参数lazy-count为日志型缓冲配置参数,设置为1,即设置为打开日志型缓冲。
第四个参数agcount为内存磁盘线程数目,设置为电脑中央处理器CPU的线程数的整数倍,在本实施例中CPU的线程总数为8,通过超线程处理,线程总数增加为16,由于IO操作需要双倍线程,因此内存磁盘线程数目设置为32。
以上所述仅是本发明的优选实施方式,应当指出,对于本领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于内存磁盘的高性能存储方法,所述内存磁盘采用内存作为存储介质,内存磁盘用于电脑,作为存储硬盘,其特征在于,所述存储方法采用XFS格式对内存磁盘进行格式化分区,所述存储方法包括:
系统设置内存磁盘节点数的节点设置步骤,所述节点设置步骤设置内存磁盘节点数为内存磁盘单个存储器芯片的最大寻址范围;
系统设置内存磁盘缓存大小的缓存大小设置步骤,所述缓存大小设置步骤设置缓存大小为内存磁盘单个存储器芯片的最大寻址范围;
系统设置日志型缓冲配置使能的日志型缓冲设置步骤,所述日志型缓冲设置步骤设置为打开日志型缓冲;
系统设置内存磁盘线程数目的线程设置步骤,所述线程设置步骤设置内存磁盘线程数目为电脑中央处理器的线程数的整数倍。
2.根据权利要求1所述的存储方法,其特征与在于,所述节点设置步骤设置内存磁盘节点数为1024KB。
3.根据权利要求1所述的存储方法,其特征在于,所述缓存大小设置步骤设置缓存大小为1024KB。
4.根据权利要求1所述的存储方法,其特征在于,所述线程设置步骤设置内存磁盘线程数目为电脑中央处理器的线程数的4倍。
5.一种基于内存磁盘的高性能存储装置,所述内存磁盘采用内存作为存储介质,内存磁盘用于电脑,作为存储硬盘,其特征在于,采用XFS格式对内存磁盘进行格式化分区,所述存储装置包括以下模块:
用于设置内存磁盘节点数的节点设置模块,所述节点设置模块设置内存磁盘节点数为内存磁盘单个存储器芯片的最大寻址范围;
用于设置内存磁盘缓存大小的缓存大小设置模块,所述缓存大小设置模块设置缓存大小为内存磁盘单个存储器芯片的最大寻址范围;
用于设置日志型缓冲配置使能的日志型缓冲设置模块,所述日志型缓冲设置模块设置为打开日志型缓冲;
用于设置内存磁盘线程数目的线程设置模块,所述线程设置模块设置内存磁盘线程数目为电脑中央处理器的线程数的整数倍。
6.根据权利要求5所述的高性能存储装置,其特征在于:
所述节点设置模块设置内存磁盘节点数为1024KB;
所述缓存大小设置模块设置内存磁盘缓存大小为1024KB;
所述线程设置模块设置内存磁盘线程数目为电脑中央处理器的线程数的4倍。
CN2010102529100A 2010-08-13 2010-08-13 一种基于内存磁盘的高性能存储方法及其装置 Active CN101901273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010102529100A CN101901273B (zh) 2010-08-13 2010-08-13 一种基于内存磁盘的高性能存储方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010102529100A CN101901273B (zh) 2010-08-13 2010-08-13 一种基于内存磁盘的高性能存储方法及其装置

Publications (2)

Publication Number Publication Date
CN101901273A CN101901273A (zh) 2010-12-01
CN101901273B true CN101901273B (zh) 2012-09-05

Family

ID=43226807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102529100A Active CN101901273B (zh) 2010-08-13 2010-08-13 一种基于内存磁盘的高性能存储方法及其装置

Country Status (1)

Country Link
CN (1) CN101901273B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103412822B (zh) * 2013-07-26 2017-06-06 华为技术有限公司 操作非易失性内存和数据操作的方法和相关装置
CN107656702B (zh) * 2017-09-27 2020-11-20 联想(北京)有限公司 加速硬盘读写的方法及其系统、以及电子设备
CN109885509B (zh) * 2019-02-26 2021-10-26 京信网络系统股份有限公司 非易失性存储器的访问方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1519726A (zh) * 2003-01-24 2004-08-11 华为技术有限公司 一种磁盘在线重构方法
CN101566927A (zh) * 2008-04-23 2009-10-28 杭州华三通信技术有限公司 存储系统和存储控制器以及数据缓存方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1519726A (zh) * 2003-01-24 2004-08-11 华为技术有限公司 一种磁盘在线重构方法
CN101566927A (zh) * 2008-04-23 2009-10-28 杭州华三通信技术有限公司 存储系统和存储控制器以及数据缓存方法

Also Published As

Publication number Publication date
CN101901273A (zh) 2010-12-01

Similar Documents

Publication Publication Date Title
US10069916B2 (en) System and method for transparent context aware filtering of data requests
US11645183B1 (en) User interface for correlation of virtual machine information and storage information
CN106649670B (zh) 基于流式计算的数据监控方法及装置
US10652265B2 (en) Method and apparatus for network forensics compression and storage
CN103116661B (zh) 一种数据库的数据处理方法
US9736043B2 (en) Optimization of resource utilization in a collection of devices
CN105791431A (zh) 一种在线分布式监控视频处理任务调度方法及装置
US10838830B1 (en) Distributed log collector and report generation
CN109710731A (zh) 一种基于Flink的数据流多向处理系统
CN102708158B (zh) 一种PostgreSQL云存储归档调度系统
CN101408889A (zh) 一种性能监控的方法、装置及系统
CN107346270B (zh) 基于实时计算的基数估计的方法和系统
CN103870393B (zh) 缓存管理方法及系统
Wei et al. Analysis farm: A cloud-based scalable aggregation and query platform for network log analysis
CN105511812A (zh) 一种存储系统大数据优化方法及装置
CN105357280B (zh) 一种基于hdfs的文件溯源ftp系统
WO2023093607A1 (zh) 一种离线数据模糊搜索方法、装置、设备和介质
CN101901273B (zh) 一种基于内存磁盘的高性能存储方法及其装置
CN113656673A (zh) 面向广告投放的主从分布内容爬取机器人
CN104915376B (zh) 一种云存储中文件的归档压缩方法
Cao et al. LogKV: Exploiting key-value stores for event log processing
Ma et al. A retrieval optimized surveillance video storage system for campus application scenarios
Falk et al. Query-able kafka: An agile data analytics pipeline for mobile wireless networks
CN108052611A (zh) 一种基于元数据库集成检索系统
KR20160050745A (ko) 실시간 또는 일괄 처리 기반의 데이터 처리방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200714

Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Alibaba (China) Co.,Ltd.

Address before: 100080 No. 29, building 16, building 18, Suzhou Street, Haidian District, Beijing, 1610-1620

Patentee before: UC MOBILE Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200819

Address after: 310024 Hangzhou City, Zhejiang Province, Xihu District turn pond science and technology economic block No. 16, 8

Patentee after: ALIYUN COMPUTING Co.,Ltd.

Address before: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: Alibaba (China) Co.,Ltd.