CN113253928A - 一种通道信息可感知的数据库存储内并行处理方法 - Google Patents

一种通道信息可感知的数据库存储内并行处理方法 Download PDF

Info

Publication number
CN113253928A
CN113253928A CN202110494437.5A CN202110494437A CN113253928A CN 113253928 A CN113253928 A CN 113253928A CN 202110494437 A CN202110494437 A CN 202110494437A CN 113253928 A CN113253928 A CN 113253928A
Authority
CN
China
Prior art keywords
pages
page
parallel
data
parallel processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110494437.5A
Other languages
English (en)
Inventor
陈仁海
郭天泽
冯志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Research Institute Of Tianjin University
Original Assignee
Shenzhen Research Institute Of Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Research Institute Of Tianjin University filed Critical Shenzhen Research Institute Of Tianjin University
Priority to CN202110494437.5A priority Critical patent/CN113253928A/zh
Publication of CN113253928A publication Critical patent/CN113253928A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种通道信息可感知的数据库存储内并行处理方法，包括：将SSD的多个并行资源中的存储单元页进行逻辑上的组合，形成多个逻辑页面；对RDF图数据切分后将相关联顶点的数据分别存放到所述逻辑页面的不同存储单元页中且分处于能并行存储的页面以能实现并行处理。本发明提出的该并行化方法通过将多个并行资源中的flash页面组合成逻辑上较大的页面，使发送到SSD的请求满足并行条件。当I/O控制处理请求时，可以更方便地处理这些请求。

Description

一种通道信息可感知的数据库存储内并行处理方法
技术领域
本发明涉及RDF数据处理技术领域，特别是涉及一种通道信息可感知的数据库存储内并行处理方法。
背景技术
RDF(资源描述框架)是一个网络资源对象和其间关系的数据模型，提供一个通用的数据模型来支持对网络资源的描述，RDF使用三元组(主语、谓语和宾语)来描述网络上的各种资源和他们之间的关系。从图的角度分析，该模型是由节点和节点之间的边构成，节点表示主语和宾语，边表示谓语，如此可以用节点表示资源，边表示资源的属性。
一些技术已经实现实现通道级并行和芯片级并行。通道级并行是闪存主控和闪存封装之间的通信通过数个通道。这些通道可以独立或者同时访问。每个独立通道有数个封装共享。芯片级并行是一个封装包含两个或者更多的芯片，芯片可以并行独立访问。这些并行性可以通过使用各种控制命令来改进SSD(固态硬盘)的性能。但对于存储RDF图数据的SSD磁盘阵列，上述的并行化方法存在以下两种问题。一方面这些技术没有充分的考虑到，由于RDF图数据和SSD内部结构之间存在巨大的语义鸿沟，不加处理直接将RDF数据存储到SSD阵列中试图研究其数据读写的并行性势必会导致效果不好。另一方面，通道级的并行和芯片级的并行性在调度的尺度上过于宏大，在考虑SSD内部结构的基础上可以实现规模更小的页面级并行。
发明内容
本发明的目的是针对现有技术中存在的技术缺陷，而提供一种通道信息可感知的数据库存储内并行处理方法，涉及到RDF图数据划分以及基于RDF图结构特点提出的一种页面级别的并行化方法，所提出的并行化方法将多个并行资源中的flash页面组合成逻辑上较大的页面，并通过对较大逻辑页面的调度来提高存储系统的运行效率。
为实现本发明的目的所采用的技术方案是：
一种通道信息可感知的数据库存储内并行处理方法，包括：
将SSD的多个并行资源中的存储单元页进行逻辑上的组合，形成多个逻辑页面；
对RDF图数据切分后将相关联顶点的数据分别存放到所述逻辑页面的不同存储单元页中且分处于能并行存储的页面以能实现并行处理。
其中，所述逻辑页面的大小＝总线通道的数量×通道中闪存芯片的数量×闪存芯片中内部通道的数量×管芯中的平面数量×页面大小。
其中，在RDF图被分割后，在存储数据之前先对存储单元页进行判断，选择不在同一信道能能并行存储的页面进行相关联顶点数据的存储。
本发明提出的该并行化方法通过将多个并行资源中的flash页面组合成逻辑上较大的页面，使发送到SSD的请求满足并行条件。当I/0控制处理请求时，可以更方便地处理这些请求。
附图说明
图1为本发明的并行化方法的示意图；
图2为图数据划分的示意图；
图3为全局图数据划分的示意图；
图4为本发明的通道信息可感知的数据库存储内并行处理方法的流程图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
术语说明：
SSD硬盘使用内部闪存颗粒存储数据，闪存颗粒是闪存芯片chip封装之后的样子，它的内部是一到多个Flash Die，每个Die的内部又可包含1到多个Plane。在Plane之下又分成多个Block(块)，每个Block又包含若干个Page(页)。对于闪存来说，能够读取和写入的最小单位是Page(页)。闪存不能覆盖写入，必须先擦除才能进行新的写入，而擦除的最小单位则是Block(块)。固态硬盘可利用多个通道channel并发读写。
在SSD存储系统中能够进行读写操作的最小单元是页，一次读出或写入小于一页是不可能的。当然系统可以只请求一个字节，但SSD中会取回整个页，强制读取比所需多的多的数据。另一方面，RDF图结构的特点决定所需的图数据会被存放到不同的页面中。因为取出整个页面操作本身就是耗时的，为了减少读写操作的时间，一次调入多个页面来获取到足够的图数据是必要的。因此，提出了本发明的存储系统的并行处理方法，涉及RDF图的数据存储。
如图1所示，本发明所提出的通道信息可感知的数据库存储内并行处理方法，首先是将SSD中最基本的存储单元页(page)进行逻辑上的组合，然后对RDF图数据进行切分将之存放到不同的存储单元页(page)中。
将多个并行资源中的flash页面组合成逻辑上较大的逻辑页面page0，如图1所示所的虚线所标示框选部分。上述的形成的逻辑页面的大小＝总线通道的数量×通道中闪存芯片的数量(即封装的数量)×闪存芯片中内部通道的数量(即管芯的数量)×管芯中的平面数量×页面大小。这样的逻辑页面可以存储更多的顶点，还可以减少图的划分数量，减少冗余。在图被分割后，在存储数据之前对页面进行判断，并倾向于选择可以并行存储的页面。
使用逻辑页并不意味着每次都需要读取所有页，因为一个逻辑大页将存储多个关联子图的数据，并且每次读取也是根据需要读取的，即读取的数据仍然是根据索引读取的。使用逻辑页的目的是使发送到SSD的请求满足并行条件，当I/0控制处理请求时，以更方便地处理这些请求。
如果RDF图数据中，两组数据的顶点存在关联，将这两组数据放到逻辑页(Logicpage)的不同位置，如图2所示，在没有执行划分策略的情况下，如果访问F、H、J或F、J、K数据，则需要读取两个逻辑页中的数据，并读取两次闪存，因为两次读取操作在同一通道中，无法实现并行。
如果将顶点J、K放置在与顶点F、H不在同一信道中的逻辑页的其他位置，则可以同时读取FH和JK所在的物理页，从而减少读取次数。
如图3所示，在执行了本发明的划分策略之后，将相关顶点放在相邻的逻辑页的不同物理页上，这样就可以同时读取F、G、H、I、J、K的数据。
本发明提出的该并行化方法通过将多个并行资源中的flash页面组合成逻辑上较大的页面，使发送到SSD的请求满足并行条件。当I/O控制处理请求时，可以更方便地处理这些请求。
因此，本发明基于SSD组成的RDF存储系统提出了一种新颖的、高效的并行化方法，能使得各SSD负载更加均衡，SSD中各页面的调度更加灵活、快速。实验结果表明，本发明可以有效的、全面的提升RDF存储系统的运行效率。
本发明的应用可以在硬件层面上解决如何存储大规模RDF的问题，为机器理解互联网上海量的信息资源提供支持。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种通道信息可感知的数据库存储内并行处理方法，其特征在于，包括步骤：
将SSD的多个并行资源中的存储单元页进行逻辑上的组合，形成多个逻辑页面；
对RDF图数据切分后将相关联顶点的数据分别存放到所述逻辑页面的不同存储单元页中且分处于能并行存储的页面以能实现并行处理。
2.根据权利要求1所述通道信息可感知的数据库存储内并行处理方法，其特征在于，所述逻辑页面的大小＝总线通道的数量×通道中闪存芯片的数量×闪存芯片中内部通道的数量×管芯中的平面数量×页面大小。
3.根据权利要求2所述通道信息可感知的数据库存储内并行处理方法，其特征在于，在RDF图被分割后，在存储数据之前先对存储单元页进行判断，选择不在同一信道能能并行存储的页面进行相关联顶点数据的存储。
CN202110494437.5A 2021-05-06 2021-05-06 一种通道信息可感知的数据库存储内并行处理方法 Pending CN113253928A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110494437.5A CN113253928A (zh) 2021-05-06 2021-05-06 一种通道信息可感知的数据库存储内并行处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110494437.5A CN113253928A (zh) 2021-05-06 2021-05-06 一种通道信息可感知的数据库存储内并行处理方法

Publications (1)

Publication Number Publication Date
CN113253928A true CN113253928A (zh) 2021-08-13

Family

ID=77223857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110494437.5A Pending CN113253928A (zh) 2021-05-06 2021-05-06 一种通道信息可感知的数据库存储内并行处理方法

Country Status (1)

Country Link
CN (1) CN113253928A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1581104A (zh) * 2003-08-12 2005-02-16 华为技术有限公司 一种动态存储器的访问方法
CN101101570A (zh) * 2007-06-28 2008-01-09 忆正存储技术(深圳)有限公司 基于多通道闪存设备逻辑条带的控制方法
CN104126203A (zh) * 2011-12-30 2014-10-29 桑迪士克科技股份有限公司 使用平面之间的片上页面交换的元块尺寸缩小
CN104461393A (zh) * 2014-12-09 2015-03-25 华中科技大学 一种闪存存储器的混合映射方法
CN109144410A (zh) * 2018-07-20 2019-01-04 江苏华存电子科技有限公司 一种多通道提升raid保护下的闪存效能方法
CN109446362A (zh) * 2018-09-05 2019-03-08 北京费马科技有限公司 基于外存的图数据库结构、图数据存储方法、装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1581104A (zh) * 2003-08-12 2005-02-16 华为技术有限公司 一种动态存储器的访问方法
CN101101570A (zh) * 2007-06-28 2008-01-09 忆正存储技术(深圳)有限公司 基于多通道闪存设备逻辑条带的控制方法
CN104126203A (zh) * 2011-12-30 2014-10-29 桑迪士克科技股份有限公司 使用平面之间的片上页面交换的元块尺寸缩小
CN104461393A (zh) * 2014-12-09 2015-03-25 华中科技大学 一种闪存存储器的混合映射方法
CN109144410A (zh) * 2018-07-20 2019-01-04 江苏华存电子科技有限公司 一种多通道提升raid保护下的闪存效能方法
CN109446362A (zh) * 2018-09-05 2019-03-08 北京费马科技有限公司 基于外存的图数据库结构、图数据存储方法、装置

Similar Documents

Publication Publication Date Title
US9189389B2 (en) Memory controller and memory system
JP6639420B2 (ja) フラッシュ最適化データ・レイアウトのための方法、フラッシュ最適化記憶のための装置、およびコンピュータ・プログラム
CN109947363A (zh) 一种分布式存储系统的数据缓存方法
KR102646619B1 (ko) 컴포지트 메모리 장치를 포함하는 전자 장치에 파일 시스템을 제공하는 시스템 및 방법
CN100383792C (zh) 缓存数据库数据组织方法
US9558124B2 (en) Data storage system with passive partitioning in a secondary memory
CN107391544B (zh) 列式存储数据的处理方法、装置、设备及计算机储存介质
US11455781B2 (en) Data reading/writing method and system in 3D image processing, storage medium and terminal
US20150074360A1 (en) Scheduler for memory
CN105183378A (zh) 自适应混合读/写缓存的方法
CN103914483A (zh) 文件存储方法、装置及文件读取方法、装置
CN104503703A (zh) 缓存的处理方法和装置
CN106201918B (zh) 一种基于大数据量和大规模缓存快速释放的方法和系统
US20240070120A1 (en) Data processing method and apparatus
EP3093772B1 (en) Data processing method, data writing method, and related apparatus
CN110618872B (zh) 混合内存动态调度方法及系统
CN110990340B (zh) 一种大数据多层次存储架构
WO2023235040A1 (en) File system improvements for zoned storage device operations
CN116185300A (zh) 一种在主机端基于深度学习完成固态硬盘高效垃圾回收的软硬件实现办法
CN113253928A (zh) 一种通道信息可感知的数据库存储内并行处理方法
WO2016180063A1 (zh) 写请求的处理方法和内存控制器
CN108170380B (zh) 一种固态硬盘提升顺序读性能的方法及固态硬盘
CN102439534A (zh) 降低数据类芯片外挂ddr功耗的方法及数据类芯片系统
CN113778333A (zh) 组合芯片、存储设备和对存储对象的操作方法
CN108062203B (zh) 一种闪存数据管理方法、装置及存储器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination