CN114579055B - 磁盘存储方法、装置、设备及介质 - Google Patents

磁盘存储方法、装置、设备及介质 Download PDF

Info

Publication number
CN114579055B
CN114579055B CN202210224698.XA CN202210224698A CN114579055B CN 114579055 B CN114579055 B CN 114579055B CN 202210224698 A CN202210224698 A CN 202210224698A CN 114579055 B CN114579055 B CN 114579055B
Authority
CN
China
Prior art keywords
data
disk
link
storage
block address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210224698.XA
Other languages
English (en)
Other versions
CN114579055A (zh
Inventor
吴君和
吕志明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN202210224698.XA priority Critical patent/CN114579055B/zh
Publication of CN114579055A publication Critical patent/CN114579055A/zh
Application granted granted Critical
Publication of CN114579055B publication Critical patent/CN114579055B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本申请提供一种磁盘存储方法、装置、设备及介质，该方法包括：利用第一链路获取数据，对所述数据进行解析得到所述数据的逻辑区块地址；根据所述数据所对应的逻辑区块地址进行排序合并处理，将缓存的多个小IO文件合并成大IO文件；利用第二链路将合并后的大IO文件写入到磁盘内进行存储，其中，所述第一链路为PCIE链路，所述第二链路为SAS链路，由于PCIE链路带宽远大于SAS链路的带宽增加了存储链路的缓存，使得小IO文件在随机写过程中经过优化处理，提高写数据的效率；同时，利用PCIE高速串行技术扩展了接口传输形式，提高了数据写入的带宽，通过优化存储架构，提高了高速数据缓存的带宽和性能，也提高了高速存储的带宽。

Description

磁盘存储方法、装置、设备及介质
技术领域
本申请涉及数据存储技术领域，特别是涉及一种磁盘存储方法、装置、设备及介质。
背景技术
在存储系统中，受很多条件限制，典型的受限条件是功耗要求、面积要求、性能要求、温度要求等，在很多应用场景，例如，由于机械硬盘在对随机IO(Input Output，读写)特别是数据块比较小(1K、4K等)的随机IO进行读写的带宽性能比较低，使得在安防行业原始视频存储领域内，该场景的写带宽性能远远无法满足现有需求。
在现有的相关技术中，通常在整机关机或者掉电过程中丢失一部分数据，或者，使用NVDIMM(非易失性双列直插式内存模块)等非易失性内存做缓存，再或者，使用全闪存阵列等方案。然而，上述方案一方面会丢失数据；另一方面，对存储的CPU与主板设计有特殊要求，还有一方面价格昂贵不适于安防场景；综上所述，现有方案特别是在安防领域磁盘存储时，无法确保具有高带宽、数据不丢失的优点。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种磁盘存储方法、装置、设备及介质，用于解决现有技术中数据在磁盘存储时，无法确保具有高带宽优点的问题。
为实现上述目的及其他相关目的，本申请提供一种磁盘存储方法，包括：
利用第一链路获取数据，对所述数据进行解析得到所述数据的逻辑区块地址；
根据所述数据所对应的逻辑区块地址进行排序合并处理，将缓存的多个小IO文件合并成大IO文件；
利用第二链路将合并后的大IO文件写入到磁盘内进行存储，其中，所述第一链路为PCIE链路，所述第二链路为SAS链路。
在本申请的另一目的在于提供一种磁盘存储装置，包括：
第一控制器，利用第一链路获取数据，所述第一链路为PCIE链路，并对所述数据进行解析得到所述数据的逻辑区块地址；
动态随机存取存储器，根据所述数据所对应的逻辑区块地址进行排序合并，将缓存的多个小IO文件合并成大IO文件；
磁盘，利用第二链路将合并后的大IO文件写入到磁盘内进行存储，所述第二链路为SAS链路。
于本申请的一实施例中，所述磁盘存储装置还包括：
备用电源，用于当检测到异常掉电时，切换至备用电源进行供电；或/和，当检测到正常掉电时，切换至备用电源进行供电；
非易失性存储器用于当检测到异常掉电时，将第一控制器存储的数据保存到动态随机存取存储器所对应的数据链表内，之后，将所述动态随机存取存储器中数据链表存储的数据进行复制存储，并存储生成的异常下电标志，其中，所述第一控制器为现场可编程逻辑门阵列。
在本申请的另一目的在于提供一种电子设备，包括：
一个或多个处理装置；
存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置执行所述磁盘存储方法。
在本申请的还一目的在于提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于使所述计算机执行所述磁盘存储方法。
如上所述，本申请的磁盘存储方法、装置、设备及介质，具有以下有益效果：
本申请使用PCIE链路获取数据，通过对数据进行解析得到所述数据的逻辑区块地址；根据所述数据所对应的逻辑区块地址进行排序合并处理，将缓存的多个小IO文件合并成大IO文件；利用SAS链路将合并后的大IO文件写入到磁盘内进行存储，由于PCIE链路带宽远大于SAS链路的带宽增加了存储链路的缓存，使得小IO文件在随机写过程中经过优化处理，提高写数据的效率，也大幅度提高数据直存场景的带宽；同时，利用PCIE高速串行技术扩展了接口传输形式，提高了数据写入的带宽，通过优化存储架构，提高了高速数据缓存的带宽和性能，也提高了高速存储的带宽。
附图说明
图1显示为本申请提供的一种磁盘存储方法流程图；
图2显示为本申请提供的一种磁盘数据写入的流程图；
图3显示为本申请提供的一种磁盘存储中写优化的原理架构图；
图4显示为本申请提供的一种磁盘存储中正常掉电的原理架构图；
图5显示为本申请提供的一种磁盘存储中异常掉电的原理架构图；
图6显示为本申请提供的一种磁盘存储装置结构框图；
图7显示为本申请提供的一种电子设备结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，遂图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，为本申请提供的一种磁盘存储方法流程图，包括：
步骤S101，利用第一链路获取数据，对所述数据进行解析得到所述数据的逻辑区块地址；
其中，该数据采用摄像装置、智能手机、平板设备、穿戴设备或带有摄像头的计算机设备之一拍摄的视频文件，该目标视频文件为大文件，一般为大于1GB文件，例如，可通过安防、教育、金融、会议、商务、监控等领域采集目标视频文件。
第一链路为PCIE链路，是Peripheral Component Interconnect Express，外设部件互连标准扩展。通过在第一控制器(FPGA)与第二控制器(主机中CPU)之间构建PCIE链路，例如，使用PCIE交换设备进行数据传输。
其中，还需要说明的是，在第一控制器接收到基于PCIE协议封装的数据包进行解析，得到解析后的数据，并确定该数据对应的逻辑区块地址(LBA)。
步骤S102，根据所述数据所对应的逻辑区块地址进行排序合并处理，将缓存的多个小IO文件合并成大IO文件；
其中，在缓存中，根据各个磁盘ID不同分别构建有相应的数据链表，在接收到解析后的数据时，根据该数据的逻辑区块地址进行排序合并处理，将缓存的多个小IO(输入输出)文件合并成大IO文件。
该数据链表包括硬盘设备ID信息、LBA地址信息，链表数据空标志，下一帧地址连续标志位，下一帧数据物理地址。例如，这个数据链表在硬盘热拔出以后会被删除。
初始数据帧在内存中的地址固定，每一个硬盘设备ID在内存内有一个数据链表，数据链表的最后一帧数据的下一帧数据物理地址为初始数据帧的物理内存地址，整个数据链表构成一个环形。
步骤S103，利用第二链路将合并后的大IO文件写入到磁盘内进行存储，其中，所述第一链路为PCIE链路，所述第二链路为SAS链路。
其中，第二链路为SAS链路，通过SAS磁盘或SAS扩展器进行数据存储，SAS(SerialAttached SCSI)即串行SCSI技术，是一种磁盘连接技术。
例如，当检测到磁盘ID所对应的数据链表不为空时，采取数据落盘操作；其中，从当前磁盘ID的初始数据帧开始，读取数据帧的下一帧地址连续标志位，若所述下一帧地址连续标志位为1，继续读取数据帧的下一帧地址连续标志位直到所述下一帧地址连续标志位变更为0，将逻辑区块地址连续的数据帧合并为一次IO写操作，直到当前磁盘ID对应的数据链表为空时，结束落盘操作(将数据写入磁盘内进行保存)。
例如，接收所述磁盘返回的写成功标志，并删除动态随机存取存储器缓存的数据。具体地，利用FPGA将此次IO的最后一个数据帧的下一帧数据物理地址写入到此次IO的第一个数据帧的上一帧数据物理地址所在数据帧的下一帧数据物理地址，同时释放内存(对动态随机存取存储器DDR4缓存的数据进行删除)。
通过上述方式，基于FPGA实现PCIE转SAS/SATA的写数据的性能优化方案，利用所述数据所对应的逻辑区块地址进行排序合并处理，将缓存的多个小IO文件合并成大IO文件；利用SAS链路将合并后的大IO文件写入到磁盘内进行存储，由于PCIE链路带宽远大于SAS链路的带宽，使得小IO文件在随机写过程中经过优化处理，提高写数据的效率，也大幅度提高数据直存场景的带宽；同时，利用PCIE高速串行技术扩展了接口传输形式，提高了数据写入的带宽，通过优化存储架构，提高了高速数据缓存的带宽和性能，也提高了高速存储的带宽。
请参阅图2，为本申请提供的一种磁盘存储方法流程图，包括：
步骤S201，利用第一控制器对来自所述PCIE链路的数据进行解析，确定所述数据的逻辑区块地址，其中，所述第一控制器为现场可编程逻辑门阵列；
其中，基于FPGA(现场可编程逻辑门阵列)接收并解析通过PCIE链路获取的数据，从而确定数据对应的逻辑区块地址。
在该步骤S201之前，创建初始数据帧；
初始化后，在动态随机存取存储器内创建每个磁盘对应的数据链表，所述数据链表包括磁盘ID信息、逻辑区块地址、链表数据空标志、下一帧地址连续标志位与下一帧物理地址，其中，所述数据链表为环形结构，所述数据链表最后一帧数据的下一帧数据物理地址为初始数据帧的物理内存地址。
具体地，初始数据帧结构如下：硬盘设备ID信息、LBA地址信息、数据信息、落盘成功标志位、下一帧地址连续标志位、上一帧数据物理地址、下一帧数据物理地址。
通过数据帧结构，不仅可获取当前硬盘设备ID信息、存储的LBA地址信息、存储的数据信息、以及落盘成功标志位，还能够根据下一帧地址连续标志位、上一帧数据物理地址、下一帧数据物理地址，
例如，通过对应的设备标识，从有效数据块中获取到初始数据，且根据数据从其设备的本地存储空间中获取到目标数据，然后，将数据据帧传输至下一个存储设备，从而实现数据可追溯性、安全管理。
步骤S202，获取当前磁盘ID，根据所述当前磁盘ID所对应的数据链表进行逻辑区块地址匹配，按照匹配结果插入当前缓存的所述磁盘ID所对应的数据链表内形成大IO文件。
具体地，主机侧的直存数据通过PCIE链路来到FPGA中，FPGA对PCIE数据包进行解析，在当前的对应的硬盘设备ID下根据LBA地址进行查找，根据LBA地址将数据插入到数据链表中，数据帧结构包含：硬盘设备ID信息、LBA地址信息，数据信息，落盘成功标志位，下一帧地址连续标志位，上一帧数据物理地址，下一帧数据物理地址。
需要说明的是，按照匹配结果插入当前缓存的所述磁盘ID所对应的数据链表，其中，主机侧通过PCIE链路发送的数据处理场景也如下，包括：
若获取的新的逻辑区块地址与当前数据链表中逻辑区块地址不重叠，则创建新的数据包进行存储；
若获取的新的逻辑区块地址包含在当前数据链表中逻辑区块地址内，则将新的数据包覆盖当前数据包对应的数据进行存储；
若获取的新的逻辑区块地址部分包含在当前数据链表中逻辑区块地址内，则将部分包含的新的数据覆盖当前数据包对应的数据，并将未包含的新的数据创建新的数据包进行存储。
按照上述思路，将获取的新的逻辑区块地址与前数据链表中逻辑区块地址进行比对，根据比对结果分别处理，保证数据可以正常处理，避免利用PCIE写入数据时，无法根据数据当前的场景进行及时正确处理，进而降低了数据写入速度。
在上述实施例的基础上，当检测到缓存的存储使用量达到预设阈值时，延迟向主机发送写成功标志，并降低所述主机写数据的速率。
例如，如果FPGA检测到内存使用量已经达到90％，则延迟给主机侧发送写成功标志，提示主机侧降低写数据速率，避免内存使用量超负载出现卡顿、假死，从而引起存储设备故障。
请参阅图3，为本申请提供的一种磁盘存储中写优化的原理架构图；详述如下：
除了上述PCIE数据的写入操作步骤，还包括：
数据落盘流程；当检测到磁盘ID所对应的数据链表不为空时，采取数据落盘操作；其中，从当前磁盘ID的初始数据帧开始，读取数据帧的下一帧地址连续标志位，若所述下一帧地址连续标志位为1，继续读取数据帧的下一帧地址连续标志位直到所述下一帧地址连续标志位变更为0，将逻辑区块地址连续的数据帧合并为一次IO写操作，直到当前磁盘ID对应的数据链表为空时，结束落盘操作。
例如，FPGA检测到硬盘设备ID对应的数据链表不为空，则启动数据落盘操作。落盘操作从硬盘的初始数据帧开始，读取数据帧的下一帧地址连续标志位，若为1，继续读取下一帧数据的下一帧地址连续标志位，一直到下一帧地址连续标志位为0，将LBA地址连续的数据帧合并为一次IO写操作。重复上述操作过程，直到硬盘设备ID对应的数据链表为空。
删除数据帧；接收所述磁盘返回的写成功标志，并删除动态随机存取存储器缓存的数据。具体地，利用FPGA将此次IO的最后一个数据帧的下一帧数据物理地址写入到此次IO的第一个数据帧的上一帧数据物理地址所在数据帧的下一帧数据物理地址，同时释放内存。
例如，硬盘返回数据落盘成功标志以后，FPGA将数据帧删除，具体做法：将此次IO的最后一个数据帧的下一帧数据物理地址写入到此次IO的第一个数据帧的上一帧数据物理地址所在数据帧的下一帧数据物理地址，同时释放内存。
通过上述方式，数据由主机通过PCIE链路写入FPGA，FPGA收到数据以后给主机回复数据写成功标志；FPGA根据数据的硬盘的LBA(逻辑区块地址)地址进行排序合并，将小IO合并成大IO，通过SAS链路写到硬盘中，硬盘反馈写成功标志以后，FPGA删除该数据包，其中，CPU在进行小IO的随机写过程中只需要把数据通过PCIE链路写到加速卡的内存中即可，FPGA内部根据一定的策略将内存中的数据通过SAS链路写到HDD中，由于PCIE链路的带宽会远远大于FPGA通过SAS链路对硬盘的写带宽，进而优化FGPA的写操作，提高了数据直存写入的带宽和直存写入的效率。
请参阅图4，为本申请提供的一种磁盘存储中正常掉电的原理架构图；详述如下：
当检测到正常掉电时，切换至备用电源进行供电，利用第一控制器将内存的数据写入到磁盘内，并向主机反馈允许下电标志，所述第一控制器为现场可编程逻辑门阵列，所述内存为动态随机存取存储器。
例如，接收到主机侧发来的正常掉电请求，即下电请求，此时上层业务已经停止，所以通过PCIE链路写入FPGA的数据会终止。FPGA在将DDR颗粒内的数据全部写到硬盘中以后，给主机反馈一个系统允许下电标志，同时，将FPGA内部的正常下电标志置位。
通过上述方式，在接收到下电请求时，终止通过PCIE链路写入的数据，并将当前动态随机存取存储器缓存的数据全部写到磁盘内进行存储，完成数据落盘操作，同时，生成正常下电标志，便于后续管理、监控。
请参阅图5，为本申请提供的一种磁盘存储中异常掉电的原理架构图；详述如下：
当检测到异常掉电时，切换至备用电源进行供电，将第一控制器存储的数据保存到内存所对应的数据链表内，之后，将所述内存中数据链表存储的数据复制到非易失性存储器，并生成异常下电标志存储到所述非易失性存储器，其中，所述第一控制器为现场可编程逻辑门阵列，所述内存为动态随机存取存储器，所述非易失性存储器包括但不限于读写存储器与闪存，在此不再赘述。
具体地，当检测到设备掉电时，通过备用电源进行切换，确保存储设备能够正常工作；同时，当第一控制器检测到当前情况为异常掉电时，将当前第一控制器缓存的数据写入到内存，再将内存的数据复制到非易失性存储器，并在非易失性存储器存储异常下电标志位。
例如，检测单板的供电，当检测到电源跌落到阈值的时候启动超级电容供电。与此同时，将电源异常的信号通过IO管脚通知FPGA。FPGA接收到电源异常信息，同时，确认正常下电标志为0，启动如下流程：(1)将PCIE模块和落盘接口模块进行逻辑复位；(2)将FPGA自身RAM(静态随机存取存储器)内的数据刷到DDR颗粒的对应数据链表中；(3)将DDR(封装的内存集成块)颗粒内部的数据COPY(复制)到eMMC(Embedded Multi Media Card)等FLASH(非易失性可读写存储器，闪存)设备中；(4)将异常下电标志位存储到FLASH中。
在本实施例中，当检测到异常掉电时，能够及时将第一控制器中缓存的数据进行备份存储，存储到只读存储器内，即使后续发生掉电，数据也不会丢失，确保了数据安全性。
在另一些实施例中，检测所述异常下电标志的状态；若所述异常下电标志的状态不为空时，则将所述非易失性存储器存储的数据复制到内存的存储颗粒中，并将所述内存存储的数据写入磁盘以进行数据恢复；若所述异常下电标志的状态为空时，则不进行数据恢复。
具体地，主机上电以后，在主机启动过程中，超级电容(即，备用电源)完成充电。主机启动完成以后，检测FLASH(闪存)中的异常下电标志位，如果为1，则表示前一次下电是异常下电，第一控制器(FPGA)将FLASH中的数据COPY到DDR(内存)颗粒中，同时，在主机侧的IO初始化完成以后，启动落盘操作。如果异常下电标志位为0，则表示前一次下电是正常下电，FPGA不需要启动数据恢复操作，等待主机侧完成IO初始化以后的后续数据传输。
在本实施例中，通过使用备用电源，即使发生异常掉电的情况，利用备用电源与只读存储器(FLASH)也能够对数据进行恢复，从而确保数据的安全性。
通过上述方式可知，下电流程分为异常下电流程与正常下电流程，利用备用电源(超级电容)在异常下电流程与正常下电流程中进行放电，进行不间断供电，不过只有在异常下电过程中，利用DDR颗粒数据在只读存储器进行备份，正常下电过程中，FPGA将数据落盘操作完成以后才会允许主机下电，进而大大提高了数据的安全性，确保了安防领域数据的安全性。
在另一些实施例中，请参阅图6，为本申请提供的一种磁盘存储装置600结构框图；包括：
第一控制器601，利用第一链路获取数据，所述第一链路为PCIE链路，并对所述数据进行解析得到所述数据的逻辑区块地址；
动态随机存取存储器602，根据所述数据所对应的逻辑区块地址进行排序合并，将缓存的多个小IO文件合并成大IO文件；
磁盘603，利用第二链路将合并后的大IO文件写入到磁盘内进行存储，所述第二链路为SAS链路。
在上述实施例的基础上，所述磁盘存储装置600还包括：
备用电源604，用于当检测到异常掉电时，切换至备用电源进行供电；或/和，当检测到正常掉电时，切换至备用电源进行供电；
只读存储器605，用于当检测到异常掉电时，将第一控制器存储的数据保存到动态随机存取存储器所对应的数据链表内，之后，将所述动态随机存取存储器中数据链表存储的数据进行复制存储，并存储生成的异常下电标志，其中，所述第一控制器为现场可编程逻辑门阵列。
在上述实施例的基础上，需要说明的是，磁盘存储装置与磁盘存储方法为一一对应的关系，在此，各个模块与上述流程步骤所涉及的技术细节与技术效果均相同，在此不用一一赘述，请参照上述磁盘存储方法。
下面参考图7，其示出了适于用来实现本公开实施例的电子设备(例如终端设备或服务器700的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM703中，还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从ROM702被安装。在该计算机程序被处理装置701执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
而在本实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述步骤S101至S103的方式。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本实施例公开各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
综上所述，本申请使用PCIE链路获取数据，通过对数据进行解析得到所述数据的逻辑区块地址；根据所述数据所对应的逻辑区块地址进行排序合并处理，将缓存的多个小IO文件合并成大IO文件；利用SAS链路将合并后的大IO文件写入到磁盘内进行存储，由于PCIE链路带宽远大于SAS链路的带宽，使得小IO文件在随机写过程中经过优化处理，提高写数据的效率，也大幅度提高数据直存场景的带宽；同时，利用PCIE高速串行技术扩展了接口传输形式，提高了数据写入的带宽，通过优化存储架构，提高了高速数据缓存的带宽和性能，也提高了高速存储的带宽。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (12)

1.一种磁盘存储方法，其特征在于，所述方法包括以下步骤：
利用第一链路获取数据，对所述数据进行解析得到所述数据的逻辑区块地址；
根据所述数据所对应的逻辑区块地址进行排序合并处理，将缓存的多个小IO文件合并成大IO文件；其中，获取当前磁盘ID，根据所述当前磁盘ID所对应的数据链表进行逻辑区块地址匹配，若获取的新的逻辑区块地址与当前数据链表中逻辑区块地址不重叠，则创建新的数据包进行存储；若获取的新的逻辑区块地址包含在当前数据链表中逻辑区块地址内，则将新的数据包覆盖当前数据包对应的数据进行存储；若获取的新的逻辑区块地址部分包含在当前数据链表中逻辑区块地址内，则将部分包含的新的数据覆盖当前数据包对应的数据，并将未包含的新的数据创建新的数据包进行存储；
利用第二链路将合并后的大IO文件写入到磁盘内进行存储，其中，所述第一链路为PCIE链路，所述第二链路为SAS链路。
2.根据权利要求1所述的磁盘存储方法，其特征在于，还包括：接收所述磁盘返回的写成功标志，并删除动态随机存取存储器缓存的数据。
3.根据权利要求1或2所述的磁盘存储方法，其特征在于，还包括：初始化后，在动态随机存取存储器内创建每个磁盘对应的数据链表，所述数据链表包括磁盘ID信息、逻辑区块地址、链表数据空标志、下一帧地址连续标志位与下一帧物理地址，其中，所述数据链表为环形结构，所述数据链表最后一帧数据的下一帧数据物理地址为初始数据帧的物理内存地址。
4.根据权利要求3所述的磁盘存储方法，其特征在于，还包括：当检测到磁盘ID所对应的数据链表不为空时，采取数据落盘操作；其中，从当前磁盘ID的初始数据帧开始，读取数据帧的下一帧地址连续标志位，若所述下一帧地址连续标志位为1，继续读取数据帧的下一帧地址连续标志位直到所述下一帧地址连续标志位变更为0，将逻辑区块地址连续的数据帧合并为一次IO写操作，直到当前磁盘ID对应的数据链表为空时，结束落盘操作。
5.根据权利要求1所述的磁盘存储方法，其特征在于，还包括：当检测到缓存的存储使用量达到预设阈值时，延迟向主机发送写成功标志，并降低所述主机写数据的速率。
6.根据权利要求1所述的磁盘存储方法，其特征在于，还包括：当检测到正常掉电时，切换至备用电源进行供电，利用第一控制器将内存的数据写入到磁盘内，并向主机反馈允许下电标志，所述第一控制器为现场可编程逻辑门阵列，所述内存为动态随机存取存储器。
7.根据权利要求1所述的磁盘存储方法，其特征在于，还包括：当检测到异常掉电时，切换至备用电源进行供电，将第一控制器存储的数据保存到内存所对应的数据链表内，之后，将所述内存中数据链表存储的数据复制到非易失性存储器，并生成异常下电标志存储到所述非易失性存储器，其中，所述第一控制器为现场可编程逻辑门阵列，所述内存为动态随机存取存储器。
8.根据权利要求7所述的磁盘存储方法，其特征在于，还包括：检测所述异常下电标志的状态；若所述异常下电标志的状态不为空时，则将所述非易失性存储器存储的数据复制到内存的存储颗粒中，并将所述内存存储的数据写入磁盘以进行数据恢复；若所述异常下电标志的状态为空时，则不进行数据恢复。
9.一种磁盘存储装置，其特征在于，所述装置包括：
第一控制器，利用第一链路获取数据，所述第一链路为PCIE链路，并对所述数据进行解析得到所述数据的逻辑区块地址；
动态随机存取存储器，根据所述数据所对应的逻辑区块地址进行排序合并，将缓存的多个小IO文件合并成大IO文件；其中，获取当前磁盘ID，根据所述当前磁盘ID所对应的数据链表进行逻辑区块地址匹配，若获取的新的逻辑区块地址与当前数据链表中逻辑区块地址不重叠，则创建新的数据包进行存储；若获取的新的逻辑区块地址包含在当前数据链表中逻辑区块地址内，则将新的数据包覆盖当前数据包对应的数据进行存储；若获取的新的逻辑区块地址部分包含在当前数据链表中逻辑区块地址内，则将部分包含的新的数据覆盖当前数据包对应的数据，并将未包含的新的数据创建新的数据包进行存储；
磁盘，利用第二链路将合并后的大IO文件写入到磁盘内进行存储，所述第二链路为SAS链路。
10.根据权利要求9所述的磁盘存储装置，其特征在于，还包括：
备用电源，用于当检测到异常掉电时，切换至备用电源进行供电；或/和，当检测到正常掉电时，切换至备用电源进行供电；
非易失性存储器，用于当检测到异常掉电时，将第一控制器存储的数据保存到动态随机存取存储器所对应的数据链表内，之后，将所述动态随机存取存储器中数据链表存储的数据进行复制存储，并存储生成的异常下电标志，其中，所述第一控制器为现场可编程逻辑门阵列。
11.一种电子设备，其特征在于：包括：
一个或多个处理装置；
存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置执行权利要求1至8中任一所述磁盘存储方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序用于使所述计算机执行权利要求1至8中任一所述磁盘存储方法。
CN202210224698.XA 2022-03-07 2022-03-07 磁盘存储方法、装置、设备及介质 Active CN114579055B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210224698.XA CN114579055B (zh) 2022-03-07 2022-03-07 磁盘存储方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210224698.XA CN114579055B (zh) 2022-03-07 2022-03-07 磁盘存储方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114579055A CN114579055A (zh) 2022-06-03
CN114579055B true CN114579055B (zh) 2023-01-31

Family

ID=81773387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210224698.XA Active CN114579055B (zh) 2022-03-07 2022-03-07 磁盘存储方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114579055B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115794700A (zh) * 2022-11-28 2023-03-14 无锡众星微系统技术有限公司 一种聚合管理访盘方法和装置
CN116048424B (zh) * 2023-03-07 2023-06-06 浪潮电子信息产业股份有限公司 Io数据处理方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1862476A (zh) * 2006-04-19 2006-11-15 华中科技大学 一种超大容量的虚拟磁盘存储系统
CN109783023A (zh) * 2019-01-04 2019-05-21 平安科技（深圳）有限公司 一种数据下刷的方法和相关装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4257834B2 (ja) * 2003-05-06 2009-04-22 インターナショナル・ビジネス・マシーンズ・コーポレーション 磁気ディスク装置、ファイル管理システム及びその方法
JP2005222202A (ja) * 2004-02-04 2005-08-18 Matsushita Electric Ind Co Ltd 不揮発性記憶装置のデータ保護方法
CN102012791B (zh) * 2010-10-15 2013-06-19 中国人民解放军国防科学技术大学 基于Flash的数据存储PCIE板卡
CN102063274B (zh) * 2010-12-30 2013-10-09 华为技术有限公司 存储阵列和存储系统及数据访问方法
CN105335326A (zh) * 2015-10-10 2016-02-17 广州慧睿思通信息科技有限公司 一种基于fpga的pcie转sata接口阵列的装置
CN105204786B (zh) * 2015-10-22 2016-10-12 湖南国科微电子股份有限公司 一种pcie ssd阵列的数据写方法及系统
US10289551B2 (en) * 2017-05-11 2019-05-14 Western Digital Technologies, Inc. Preserving data upon a power shutdown
CN207731258U (zh) * 2018-02-06 2018-08-14 国蓉科技有限公司 一种vpx高速存储模块
CN108491058A (zh) * 2018-04-03 2018-09-04 郑州云海信息技术有限公司 一种非易失性内存的异常掉电数据保护方法及装置
US20190324859A1 (en) * 2018-04-20 2019-10-24 Cnex Labs, Inc. Method and Apparatus for Restoring Data after Power Failure for An Open-Channel Solid State Drive
KR20200129467A (ko) * 2019-05-08 2020-11-18 삼성전자주식회사 스토리지 컨트롤러 및 이를 포함하는 스토리지 장치
CN111045604B (zh) * 2019-12-11 2022-11-01 苏州浪潮智能科技有限公司 一种基于nvram的小文件读写加速方法和设备
CN111475436A (zh) * 2020-04-07 2020-07-31 成都智明达电子股份有限公司 一种基于pcie交换网络的嵌入式高速sata存储阵列系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1862476A (zh) * 2006-04-19 2006-11-15 华中科技大学 一种超大容量的虚拟磁盘存储系统
CN109783023A (zh) * 2019-01-04 2019-05-21 平安科技（深圳）有限公司 一种数据下刷的方法和相关装置

Also Published As

Publication number Publication date
CN114579055A (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN109597568B (zh) 一种数据存储方法、装置、终端设备及存储介质
CN114579055B (zh) 磁盘存储方法、装置、设备及介质
US9703816B2 (en) Method and system for forward reference logging in a persistent datastore
US8726004B2 (en) Switching drivers between processors
US20150199137A1 (en) Embedded multimedia card and method of operating the same
KR20160124794A (ko) Dram 결함들의 커널 마스킹
KR102336528B1 (ko) 캐시 메모리를 가지는 전자 장치 및 그의 운용 방법
CN108696766B (zh) 弹幕显示方法、装置和计算机可读存储介质
US9377961B2 (en) System and method for calculating data compression ratio without writing data to media
US20110093437A1 (en) Method and system for generating a space-efficient snapshot or snapclone of logical disks
US8589647B2 (en) Apparatus and method for synchronizing a snapshot image
US10929251B2 (en) Data loss prevention for integrated memory buffer of a self encrypting drive
US20150248741A1 (en) System and method for providing power-saving static image display refresh in a dram memory system
US20090327295A1 (en) Maintenance of exo-file system metadata on removable storage device
JP2017519294A (ja) フラッシュメモリベースストレージデバイスのマルチホスト電力コントローラ（ｍｈｐｃ）
US9239742B2 (en) Embedded systems and methods for threads and buffer management thereof
CN106575273A (zh) 用于扩展片上系统的存储器的系统和方法
US20220253252A1 (en) Data processing method and apparatus
US20150193311A1 (en) Managing production data
US11853614B2 (en) Synchronous write method and device, storage system and electronic device
US11940878B2 (en) Uninterrupted block-based restore operation using a read-ahead buffer
CN110045929B (zh) 一种挂载点管理方法及相关装置
TWI696068B (zh) 用於提供高效功率檔案系統操作至一非揮發性區塊記憶體之系統及方法
US20190294806A1 (en) Method and system for implementing data secure deletion in mobile terminal
JP2016537751A (ja) コンピューティングデバイスにおける消費電力の低減

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant