CN109240609B - 一种基于aep内存的数据空间读写方法及系统 - Google Patents
一种基于aep内存的数据空间读写方法及系统 Download PDFInfo
- Publication number
- CN109240609B CN109240609B CN201810969087.1A CN201810969087A CN109240609B CN 109240609 B CN109240609 B CN 109240609B CN 201810969087 A CN201810969087 A CN 201810969087A CN 109240609 B CN109240609 B CN 109240609B
- Authority
- CN
- China
- Prior art keywords
- dimmid
- data space
- list
- aep
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000015654 memory Effects 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于AEP内存的数据空间读写方法及系统包括如下步骤:自动检索AEP内存的DimmID值,生成DimmID的列表库;依次扫描服务器中AEP内存的DimmID值创建数据空间,写入判定;将写入成功的数据空间进行显示。步骤自动检索AEP内存的DimmID值,生成DimmID的列表库之前还包括:检索AEP内存的数据空间,如果存在退出,否则准备写入。步骤自动检索AEP内存的DimmID值,生成DimmID的列表库包括:Ndctl list–R模块输出json格式空间表;ipmctl工具读取所有的AEP内存;检索第一列的DimmID值,生成DimmID的列表库dimmIDList。
Description
技术领域
本发明涉及服务器存储技术领域,具体涉及一种基于AEP内存的数据空间读写方法及系统。
背景技术
AEP内存简称Apache Pass DIMMs,为高性能和灵活性而设计的革命性的SCM,称Optane NVMe SSD为Clodstream,为世界上最快、可用性和可服务性最好的SSD;ApachePass DIMM比DRAM高出8-10倍,其成本优势明显;与DRAM相比,其具有非易失性的另一大优势。与Flash Flash相比,由于写入方式不同,Apache Pass DIMM也比Flash NAND更耐用,从应用场景分析,Clodstream SSD主要用在NAND Flash SSD之上,对系统日志、Memory Page和系统元数据进行加速;然而Apache Pass DIMM主要定位是用于替代DRAM,支撑持久Memory或In-Memory应用。
目前一般通过手动的方式挨个查看服务器中AEP内存的DimmID,然而获取DimmID的方法仅有两种,一种是ixpdimm-cli读取;第二种是ipmctl读取;但是Intel已经发表声明使用ipmctl 工具取代ixpdimm-cli工具,也就是不在认可和维护,可以目前ipmctl工具不支持AEP内存的namespace(数据空间)的创建。由于每台服务器中将会有24条以上的大容量内存,如512GB、256GB,甚至更大容量的内存,使得我们在手动创建AEP 内存空间数据时,需要多条命令操作,耗时耗力,容易错误,容量越大操作时间将会越长。
发明内容
为了克服上述现有技术中的不足,本发明提供一种基于AEP内存的数据空间读写方法及系统,以解决上述技术问题。
本发明的技术方案是:
一种基于AEP内存的数据空间读写方法 ,包括如下步骤:
自动检索AEP内存的DimmID值,生成DimmID的列表库;
依次扫描服务器中AEP内存的DimmID值创建数据空间,写入判定;
将写入成功的数据空间进行显示。
进一步的,步骤自动检索AEP内存的DimmID值,生成DimmID的列表库之前还包括:
检索AEP内存的数据空间,如果存在退出,否则准备写入。
进一步的,步骤自动检索AEP内存的DimmID值,生成DimmID的列表库包括:
Ndctl list –R模块输出json格式空间表;
ipmctl 工具读取所有的AEP内存;
检索第一列的DimmID值,生成DimmID的列表库dimmIDList。
进一步的,步骤检索第一列的DimmID值,生成DimmID的列表库dimmIDList包括:
通过关键值Healthy检索第一列的DimmID值,生成DimmID的列表库dimmIDList。
进一步的,步骤依次扫描服务器中AEP内存的DimmID值创建数据空间包括:
依据DimmID列表库,按照顺序读取AEP内存的DimmID值,逐步写入数据空间。
进一步的,步骤将写入成功的数据空间进行显示包括:
写入成功则数据空间创建成功,将显示命名空间的ID,否则返回异常显示。
本发明技术方案还提供一种基于AEP内存的数据空间读写系统 ,包括列表生成模块、数据空间创建模块和命名显示模块;
列表生成模块,用于自动检索AEP内存的DimmID值,生成DimmID的列表库;
数据空间创建模块,用于依次扫描服务器中AEP内存的DimmID值创建数据空间,写入判定;
命名显示模块,用于将写入成功的数据空间命名并进行显示。
进一步的,该系统还包括检索模块和处理模块;
检索模块,用于检索AEP内存的数据空间;
处理模块,用于处理检索模块的输出信息,若检索模块输出数据空间存在返回值,处理模块,用于控制退出系统,否则处理模块控制准备写入。
进一步的,列表生成模块包括Ndctl list –R单元、ipmctl 工具单元和列表检索单元;
Ndctl list –R单元,用于输出json格式空间表;
ipmctl 工具单元,用于读取所有的AEP内存;
列表检索单元,用于检索第一列的DimmID值,生成DimmID的列表库dimmIDList。
进一步的,数据空间创建模块包括读取单元和写入单元:
读取单元,用于依据DimmID列表库,按照顺序读取AEP内存的DimmID值;
写入单元,用于逐步写入数据空间。
从以上技术方案可以看出,本发明具有以下优点:本发明为一种基于AEP内存的数据空间读写方法可以在服务器上检测是否存在数据空间,依次扫描机器中AEP内存的DimmID值如(0x0001),在根据DimmID依次顺序创建数据空间,也就写入内存数据空间,当内存数据空间创建成功后,会返回提醒。对服务器中AEP内存的数据空间进行自动化创建,实现无人值守的操作,节省人力成本。
此外,本发明设计原理可靠,结构简单,具有非常广泛的应用前景。
由此可见,本发明与现有技术相比,具有突出的实质性特点和显著地进步,其实施的有益效果也是显而易见的。
附图说明
图1为一种基于AEP内存的数据空间读写方法流程图。
具体实施方式
下面结合附图并通过具体实施例对本发明进行详细阐述,以下实施例是对本发明的解释,而本发明并不局限于以下实施方式。
实施例一
如图1所示,一种基于AEP内存的数据空间读写方法 ,包括如下步骤:
S1:检索AEP内存的数据空间,如果存在退出,否则准备写入;
S2:自动检索AEP内存的DimmID值,生成DimmID的列表库,其中,
Ndctl list –R模块输出json格式空间表;
ipmctl 工具读取所有的AEP内存;
通过关键值Healthy检索第一列的DimmID值,生成DimmID的列表库dimmIDList;
S3:依次扫描服务器中AEP内存的DimmID值创建数据空间;
S4:写入判定,若写入成功,命名数据空间信息,否则返回异常信息;
S5:重复步骤S2-S4,直到所有AEP类型内存测试结束,退出。
本实施例中,ndctl列出可能存在的数据空间,如下:
Ndctl list –R输出json格式空间表
[
{
"dev":"region1",
"size":268435456000,
"available_size":268435456000,
"type":"pmem",
"iset_id":5796113720718926916,
"persistence_domain":"memory_controller"
},
{
"dev":"region0",
"size":268435456000,
"available_size":268435456000,
"type":"pmem",
"iset_id":7511422227652879428,
"persistence_domain":"memory_controller"
}
]
由于上述得出的额是不存在数据空间的信息格式,进行如下步骤进行转换:
dimmIDList=$(ipmctl show -dimm |grep 'Healthy'|awk '{print $1}'),使用工具ipmctl 读取所有的AEP内存,在通过关键值'Healthy'检索第一列的DimmID值,生成DimmID的列表库dimmIDList。
依据DimmID列表库,按照顺序读取AEP内存的DimmID值,逐步写入数据空间,
function namespace(){
ndn=$(ndctl list -R |grep 'region'|wc -l)
#ndn 代表DimmID列表库
for((n=0;n<=$ndn-1;n++)) #按顺序读取
do
#n 代表 DimmID值
ndctl create-namespace -r $n -m fsdax –f #逐步写入数据空间
done
}
这行ndctl create-namespace -r $n -m fsdax –f,如果创建成功,将显示命名空间的ID,否则返回异常显示。
通过以上解决方案的整合,从而AEP内存的自动化数据空间读写方法。
#!/bin/bash
#****************************************************************#
# ScriptName: namespacev1.0.sh
dimmIDList=$(ipmctl show -dimm |grep 'Healthy'|awk '{print $1}')
function namespace(){
ndn=$(ndctl list -R |grep 'region'|wc -l)
for((n=0;n<=$ndn-1;n++))
do
ndctl create-namespace -r $n -m fsdax -f
done
}
namespace。
实施例二
本发明技术方案还提供一种基于AEP内存的数据空间读写系统 ,包括列表生成模块、数据空间创建模块和命名显示模块;
列表生成模块,用于自动检索AEP内存的DimmID值,生成DimmID的列表库;
数据空间创建模块,用于依次扫描服务器中AEP内存的DimmID值创建数据空间,写入判定;
命名显示模块,用于将写入成功的数据空间命名并进行显示。
该系统还包括检索模块和处理模块;
检索模块,用于检索AEP内存的数据空间;
处理模块,用于处理检索模块的输出信息,若检索模块输出数据空间存在返回值,处理模块,用于控制退出系统,否则处理模块控制准备写入。
获取模块包括Ndctl list –R单元、ipmctl 工具单元和列表检索单元;
Ndctl list –R单元,用于输出json格式空间表;
ipmctl 工具单元,用于读取所有的AEP内存;
列表检索单元,用于检索第一列的DimmID值,生成DimmID的列表库dimmIDList。
数据空间创建模块包括读取单元和写入单元:
读取单元,用于依据DimmID列表库,按照顺序读取AEP内存的DimmID值;
写入单元,用于逐步写入数据空间。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (2)
1.一种基于AEP内存的数据空间读写方法,其特征在于,包括如下步骤:
检索AEP内存的数据空间,如果存在退出;
否则执行步骤:自动检索AEP内存的DimmID值,生成DimmID的列表库;具体包括:Ndctllist–R模块输出json格式空间表;ipmctl工具读取所有的AEP内存;通过关键值Healthy检索第一列的DimmID值,生成DimmID的列表库dimmIDList;
依次扫描服务器中AEP内存的DimmID值创建数据空间,写入判定;具体包括:依据DimmID列表库,按照顺序读取AEP内存的DimmID值,逐步写入数据空间;
写入成功则数据空间创建成功,将显示命名空间的ID,否则返回异常显示。
2.一种基于AEP内存的数据空间读写系统,其特征在于包括列表生成模块、数据空间创建模块和命名显示模块;
列表生成模块,用于自动检索AEP内存的DimmID值,生成DimmID的列表库;
数据空间创建模块,用于依次扫描服务器中AEP内存的DimmID值创建数据空间,写入判定;
命名显示模块,用于将写入成功的数据空间命名并进行显示;
该系统还包括检索模块和处理模块;
检索模块,用于检索AEP内存的数据空间;
处理模块,用于处理检索模块的输出信息,若检索模块输出数据空间存在返回值,处理模块,用于控制退出系统,否则处理模块控制准备写入;
列表生成模块包括Ndctl list–R单元、ipmctl工具单元和列表检索单元;
Ndctl list–R单元,用于输出json格式空间表;
ipmctl工具单元,用于读取所有的AEP内存;
列表检索单元,用于检索第一列的DimmID值,生成DimmID的列表库dimmIDList;
数据空间创建模块包括读取单元和写入单元:
读取单元,用于依据DimmID列表库,按照顺序读取AEP内存的DimmID值;
写入单元,用于逐步写入数据空间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810969087.1A CN109240609B (zh) | 2018-08-23 | 2018-08-23 | 一种基于aep内存的数据空间读写方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810969087.1A CN109240609B (zh) | 2018-08-23 | 2018-08-23 | 一种基于aep内存的数据空间读写方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109240609A CN109240609A (zh) | 2019-01-18 |
CN109240609B true CN109240609B (zh) | 2022-02-18 |
Family
ID=65068938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810969087.1A Active CN109240609B (zh) | 2018-08-23 | 2018-08-23 | 一种基于aep内存的数据空间读写方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109240609B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102833295A (zh) * | 2011-06-17 | 2012-12-19 | 南京中兴新软件有限责任公司 | 分布式缓存系统中的数据操作方法和装置 |
CN105844689A (zh) * | 2016-03-29 | 2016-08-10 | 浪潮(苏州)金融技术服务有限公司 | 一种使用维度空间技术进行多维数据同步管理的方法 |
CN106371761A (zh) * | 2015-07-23 | 2017-02-01 | 株式会社东芝 | 内存系统以及非易失性内存的控制方法 |
CN106528001A (zh) * | 2016-12-05 | 2017-03-22 | 北京航空航天大学 | 一种基于非易失性存储器和软件raid的缓存系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104216659A (zh) * | 2013-05-30 | 2014-12-17 | 中兴通讯股份有限公司 | 一种离线消息的存储方法及服务器 |
US9251107B2 (en) * | 2013-06-27 | 2016-02-02 | Silicon Laboratories Inc. | Immediate direct memory access descriptor-based write operation |
US9419958B2 (en) * | 2014-11-25 | 2016-08-16 | Oracle International Corporation | Multi-tenancy support in a cloud based data grid |
WO2017058231A1 (en) * | 2015-10-01 | 2017-04-06 | Hewlett-Packard Development Company, L.P. | Automatic persistent memory management |
US10282287B2 (en) * | 2015-12-28 | 2019-05-07 | Intel Corporation | Interleaved direct access mode in byte addressible memory and related devices and systems |
-
2018
- 2018-08-23 CN CN201810969087.1A patent/CN109240609B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102833295A (zh) * | 2011-06-17 | 2012-12-19 | 南京中兴新软件有限责任公司 | 分布式缓存系统中的数据操作方法和装置 |
CN106371761A (zh) * | 2015-07-23 | 2017-02-01 | 株式会社东芝 | 内存系统以及非易失性内存的控制方法 |
CN105844689A (zh) * | 2016-03-29 | 2016-08-10 | 浪潮(苏州)金融技术服务有限公司 | 一种使用维度空间技术进行多维数据同步管理的方法 |
CN106528001A (zh) * | 2016-12-05 | 2017-03-22 | 北京航空航天大学 | 一种基于非易失性存储器和软件raid的缓存系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109240609A (zh) | 2019-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102063943B (zh) | Nand闪存参数自动检测系统 | |
US7730358B2 (en) | Stress testing method of file system | |
US11145386B2 (en) | Chip testing method, device, electronic apparatus and computer readable medium | |
US10475516B2 (en) | Data storage device and data erasing method wherein after erasing process, predetermined value is written to indicate completion of said erasing method | |
CN102917072A (zh) | 用于数据服务器集群之间进行数据迁移的设备、系统及方法 | |
CN107357696B (zh) | 一种非易失存储器坏块测试方法及系统 | |
CN109614119B (zh) | 一种烧录方法、装置、电子设备及介质 | |
CN102135943B (zh) | 闪存数据的存储、访问方法及装置 | |
CN103914483A (zh) | 文件存储方法、装置及文件读取方法、装置 | |
US20120117347A1 (en) | Initializing of a memory area | |
CN113190241B (zh) | 数据分区的容量扩充方法、装置、电子设备、存储介质 | |
CN106250063A (zh) | 一种翻页方法、装置及书写终端 | |
CN110969000B (zh) | 数据合并的处理方法及装置 | |
US10169160B2 (en) | Database batch update method, data redo/undo log producing method and memory storage apparatus | |
CN104133640B (zh) | 从休眠快速恢复 | |
CN109240609B (zh) | 一种基于aep内存的数据空间读写方法及系统 | |
CN107807870B (zh) | 一种存储服务器主板掉电保护功能的测试方法和系统 | |
CN113590504A (zh) | 存储日志帧以及日志条目的固态硬盘 | |
CN107430546A (zh) | 一种文件更新方法及存储设备 | |
US20100268870A1 (en) | Data storage device and data storage system including the same | |
US20080033948A1 (en) | Storage apparatus and method therefor | |
JP2008084184A (ja) | メモリコントローラ | |
CN113377681A (zh) | 测试案例数据处理方法、装置、电子设备及存储介质 | |
JP2013235530A5 (zh) | ||
CN113821508A (zh) | 一种数组索引的实现方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |