CN116755614A - 数据处理方法、高性能计算存储系统及电子设备 - Google Patents

数据处理方法、高性能计算存储系统及电子设备 Download PDF

Info

Publication number
CN116755614A
CN116755614A CN202310593625.2A CN202310593625A CN116755614A CN 116755614 A CN116755614 A CN 116755614A CN 202310593625 A CN202310593625 A CN 202310593625A CN 116755614 A CN116755614 A CN 116755614A
Authority
CN
China
Prior art keywords
data
processed
pmem
unit
pmem unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310593625.2A
Other languages
English (en)
Inventor
高达
高飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Research Institute Of China Telecom Corp ltd
China Telecom Corp Ltd
Original Assignee
Beijing Research Institute Of China Telecom Corp ltd
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Research Institute Of China Telecom Corp ltd, China Telecom Corp Ltd filed Critical Beijing Research Institute Of China Telecom Corp ltd
Priority to CN202310593625.2A priority Critical patent/CN116755614A/zh
Publication of CN116755614A publication Critical patent/CN116755614A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0658—Controller construction arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Digital Magnetic Recording (AREA)

Abstract

本申请属于云计算领域，涉及数据处理方法、高性能计算存储系统及电子设备。应用于HPC存储系统中的控制器，包括：获取待处理数据，根据待处理数据确定待处理数据所在的当前持久化内存PMEM单元；获取所述当前PMEM单元中与待处理数据对应的读取频率和写入频率；通过所述控制器中的冷数据过滤器和热数据过滤器根据所述读取频率和所述写入频率对所述待处理数据进行过滤，以获取与所述待处理数据对应的数据类型；根据所述数据类型将所述待处理数据移动至目标PMEM单元，所述目标PMEM单元为用于快写慢读的第一PMEM单元或者用于快读慢写的第二PMEM单元。本申请能够实现读写数据的分区存储，降低了数据的读写延迟。

Description

数据处理方法、高性能计算存储系统及电子设备
技术领域
本申请涉及云计算技术领域，特别涉及一种数据处理方法、高性能计算存储系统及电子设备。
背景技术
主流的高性能计算(High performance computing，缩写HPC)存储系统均采用持久化内存(persistent memory，缩写PMEM)和固态硬盘(Solid State Disk，缩写SSD)组成的混合存储系统，以实现高可靠性和高性能。其中，PMEM作为热数据存储层使用，SSD作为冷数据存储层使用。
为了保证PMEM的可靠性，应用了多重验证操作和强纠错码(error correctingcode，缩写ECC)，其数据调度模式主要采用基于最近最少使用的数据分配方法，将不经常读写的冷数据移动到SSD中，一旦发生对冷数据的读写，SSD将数据重新移动到PMEM中。但是在向PMEM中写入数据时，采用多重验证操作会增加写入延迟，从PMEM中读取数据时，采用强ECC进行错误检查和纠正，在ECC解码时严重增加了读取延迟，并且频繁的将冷数据移动至SSD层会导致大量的时间开销，降低SSD的性能和寿命。
需要说明的是，上述背景技术部分公开的信息仅用于加强对本申请的背景的理解。
发明内容
本申请的目的在于提供一种数据处理方法、数据处理系统、计算机存储介质及电子设备，进而至少在一定程度上减少读取/写入延迟。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请的第一方面，提供一种数据处理方法，应用于高性能计算HPC存储系统中的控制器，包括：获取待处理数据，根据所述待处理数据确定所述待处理数据所在的当前持久化内存PMEM单元；获取所述当前PMEM单元中与所述待处理数据对应的读取频率和写入频率；通过所述控制器中的冷数据过滤器和热数据过滤器根据所述读取频率和所述写入频率对所述待处理数据进行过滤，以获取与所述待处理数据对应的数据类型；根据所述数据类型将所述待处理数据移动至目标PMEM单元，所述目标PMEM单元为用于快写慢读的第一PMEM单元或者用于快读慢写的第二PMEM单元。
根据本申请的第二方面，提供一种数据处理装置，包括：第一PMEM单元，用于存储热数据和冷数据，并对数据进行快写慢读；第二PMEM单元，与所述第一PMEM单元连接，用于存储热数据和冷数据，并对数据进行快读慢写；固态硬盘SSD，与所述第一PMEM单元和所述第二PMEM单元连接，用于在所述第一PMEM单元和/或所述第二PMEM单元的存储空间不足时存储冷数据；控制器，与所述第一PMEM单元、所述第二PMEM单元和所述SSD连接，用于根据待处理数据确定所述待处理数据所在的当前持久化内存PMEM单元；获取所述当前PMEM单元中与所述待处理数据对应的读取频率和写入频率；通过冷数据过滤器和热数据过滤器根据所述读取频率和所述写入频率对所述待处理数据进行过滤，并根据过滤获取的与所述待处理数据对应的数据类型将所述待处理数据移动至目标PMEM单元，所述目标PMEM单元为用于快写慢读的第一PMEM单元或者用于快读慢写的第二PMEM单元。
根据本申请的第三方面，提供一种电子设备，其特征在于，包括：控制器；以及存储器，用于存储所述控制器的可执行指令；其中，所述控制器配置为经由执行所述可执行指令来执行上述的数据处理方法。
由上述技术方案可知，本申请示例性实施例中的数据处理方法、高性能计算存储系统及电子设备至少具备以下优点和积极效果：
本申请实施例中的数据处理方法，通过高性能计算存储系统中的控制器根据待处理数据确定其所在的当前持久化内存PMEM单元；接着获取当前PMEM单元中与待处理数据对应的读取频率和写入频率；然后通过冷数据过滤器和热数据过滤器根据读取频率和写入频率对待处理数据进行过滤，以获取与待处理数据对应的数据类型；最后根据数据类型将待处理数据移动至目标PMEM单元，该目标PMEM单元为用于快写慢读的第一PMEM单元或者用于快读慢写的第二PMEM单元。本申请实施例通过冷数据过滤器和热数据过滤器根据读取/写入频率将写热数据存储于第一PMEM单元，将读热数据存储于第二PMEM单元，能够提高数据的读取/写入速率，减少读取/写入延迟。
本申请应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性地示出了相关技术中高性能计算HPC存储系统的系统架构图。
图2示意性地示出了本申请实施例中高性能计算HPC存储系统的系统架构图。
图3示意性地示出了本申请实施例中数据处理方法的流程图。
图4示意性地示出了本申请实施例中第一PMEM单元的读取/写入操作机理图。
图5示意性地示出了本申请实施例中第二PMEM单元的读取/写入操作机理图。
图6示意性地示出了本申请实施例中第一PMEM单元对应的数据类型获取流程示意图。
图7示意性地示出了本申请实施例中第二PMEM单元对应的数据类型获取流程示意图。
图8示意性示出了适于用来实现本申请实施例的电子设备的计算机系统结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
本说明书中使用用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等；用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”和“第二”等仅作为标记使用，不是对其对象的数量限制。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
在本领域的相关技术中，图1示出了高性能计算HPC存储系统的系统架构图，如图1所示，高性能计算HPC存储系统包括PMEM层101和SSD层102，其中PMEM层101用于存储热数据，SSD层102用于存储冷数据，PMEM层101和SSD层102之间可以进行数据移动，并且数据移动时需要进行多重验证操作和强ECC。在数据移动时，可以基于最近最少使用LRU表，将不经常读取/写入的冷数据移动到SSD层102中，例如当PMEM层101中的空间小于25％时，LRU表中最近最少使用的数据被移动至SSD层102中，但是一旦发生对冷数据的读取/写入时，SSD层102将数据重新移动到PMEM层101中。
相关技术中的数据移动方法存在相应地问题，首先，在写入数据时，需要进行多重验证操作，增加了写入延迟，在读取数据时，需要采用强ECC进行错误检查和纠正，增加了读取延迟；其次，将数据从PMEM层移动至SSD层或者从SSD层移动至PMEM层，会导致大量的时间开销，降低了SSD层的性能与寿命。
针对相关技术中存在的技术问题，本申请实施例中提出了一种数据处理方法，以减少读取/写入延迟，提升SSD的性能与寿命。在对本申请实施例中的技术方案进行详细说明之前，首先对本申请实施例中可能涉及到的技术名词进行解释和说明。
(1)PMEM：持久化内存，一个介于内存和存储之间的新类别。其驻留在内存总线上的固态高性能按字节寻址内存设备，支持向DRAM一样访问数据，具备与DRAM相当的速度与延迟，而且兼具NAND闪存的非易失性。
(2)SSD：Solid State Disk，固态硬盘，又称固态驱动器，是用固态电子存储芯片阵列制成的硬盘。
(3)HPC：高性能计算或超级计算和日常计算一样，区别只在于它的计算能力更强大，它能够通过聚合结构，使用多台计算机和存储设备，以极高速度处理大量数据。
(4)热数据：经常读取或覆盖的数据。
(5)冷数据：不经常读取或覆盖的数据。
在介绍完本申请实施例中可能涉及到的技术名词后，对本申请中的数据处理方法进行详细说明。
图2示意性示出了应用本申请技术方案的高性能计算存储系统的系统架构框图。
如图2所示，高性能计算HPC存储系统的系统架构可以包括第一PMEM单元201、第二PMEM单元202、SSD单元203和控制器204。
其中，第一PMEM单元201和第二PMEM单元202主要用于存储热数据，也存储部分冷数据，该部分冷数据为存在读取可能的冷数据，第一PMEM单元201用于对数据进行快写慢读，第二PMEM单元202用于对数据进行快读慢写，并且第一PMEM单元201中的数据和第二PMEM单元202中的数据可以进行移动；
SSD单元203与第一PMEM单元201和第二PMEM单元202连接，用于存储冷数据，该冷数据为长时间不会被读取或覆盖的数据；
控制器204与第一PMEM单元201、第二PMEM单元202和SSD单元203连接，用于改变第一PMEM单元201和第二PMEM单元202对应的验证操作和ECC强度，同时还用于对第一PMEM单元201和第二PMEM单元202中的数据进行移动。
控制器204中包括冷数据过滤器204-1、读热数据过滤器204-2和写热数据过滤器204-3，其中，冷数据过滤器204-1和写热数据过滤器204-3用于对第一PMEM单元201中的数据进行过滤并确定其对应的数据类型，冷数据过滤器204-1和读热数据过滤器204-2用于对第二PMEM单元202中的数据进行过滤并确定其对应的数据类型。
具体地，控制器204包括解析单元，用于在获取待处理数据之前，响应并解析主机的读取/写入请求，以获取所述待处理数据。
控制器204包括匹配单元，用于将所述待处理数据与所述第一PMEM单元中的数据和所述第二PMEM单元中的数据进行匹配；当所述第一PMEM单元中存在与所述待处理数据匹配的数据时，将所述第一PMEM单元或者作为所述当前PMEM单元；当所述第二PMEM单元中存在与所述待处理数据匹配的数据时，将所述第二PMEM单元或者作为所述当前PMEM单元。
控制器204包括读取/写入信息保存单元，用于保存与所述待处理数据对应的读取/写入信息，并根据所述读取/写入信息更新与所述待处理数据对应的读取频率或者写入频率。
控制器204包括第一过滤单元，用于在当前PMEM单元为第一PMEM单元，热数据过滤器为写热数据过滤器时，通过所述冷数据过滤器将所述读取频率与冷数据阈值进行比较；当所述读取频率小于或等于所述冷数据阈值时，确定所述待处理数据的数据类型为冷数据；当所述读取频率大于所述冷数据阈值时，通过所述写热数据过滤器将所述写入频率与写热数据阈值进行比较，根据比较结果确定所述待处理数据的数据类型。
具体地，根据比较结果确定所述待处理数据的数据类型，包括：当所述写入频率大于所述写热数据阈值时，确定所述待处理数据的数据类型为写热数据；当所述写入频率小于或等于所述写热数据阈值时，确定所述待处理数据的数据类型为读热数据。
控制器204包括移动单元，用于当所述待处理数据的数据类型为冷数据或者写热数据时，将所述第一PMEM单元作为所述目标PMEM单元；当所述待处理数据的数据类型为读热数据时，将所述第二PMEM单元作为所述目标PMEM单元，并将所述待处理数据移动至所述第二PMEM单元。
控制器204包括更新单元，用于在将所述待处理数据移动至所述第二PMEM单元之后，删除所述第一PMEM单元中与所述待处理数据对应的读取/写入信息记录，在所述第二PMEM单元中重新记录所述待处理数据对应的读取/写入信息。
控制器204包括第二过滤单元，用于在当前PMEM单元为第二PMEM单元，热数据过滤器为读热数据过滤器时，通过所述冷数据过滤器将所述写入频率与冷数据阈值进行比较；当所述写入频率小于或等于所述冷数据阈值时，确定所述待处理数据的数据类型为冷数据；当所述写入频率大于所述冷数据阈值时，通过所述读热数据过滤器将所述读取频率与读热数据阈值进行比较，根据比较结果确定所述待处理数据的数据类型。
具体地，根据比较结果确定所述待处理数据的数据类型，包括：当所述读取频率大于所述读热数据阈值时，确定所述待处理数据的数据类型为读热数据；当所述读取频率小于或等于所述读热数据阈值时，确定所述待处理数据的数据类型为写热数据。
移动单元还用于：当所述待处理数据的数据类型为冷数据或者读热数据时，将所述第二PMEM单元作为所述目标PMEM单元；当所述待处理数据的数据类型为写热数据时，将所述第一PMEM单元作为所述目标PMEM单元，并将所述待处理数据移动至所述第一PMEM单元。
更新单元还用于：删除所述第二PMEM单元中与所述待处理数据对应的读取/写入信息记录，在所述第一PMEM单元中重新记录所述待处理数据对应的读取/写入信息。
移动单元还用于在将所述待处理数据移动至所述目标PMEM单元后，将所述第一PMEM单元和/或所述第二PMEM单元的剩余存储空间容量与预设容量阈值进行比较；当所述剩余存储空间容量小于或等于所述预设容量阈值时，获取所述第一PMEM单元和/或所述第二PMEM单元中的待移动冷数据，并将所述待移动冷数据移动至所述SSD中。
本申请实施例提供的技术方案可以由控制器204执行，同时本申请实施例中的数据处理方法涉及云计算。
云计算(cloud computing)指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。云计算是网格计算(Grid Computing)、分布式计算(DistributedComputing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network StorageTechnologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。
随着互联网、实时数据流、连接设备多样化的发展，以及搜索服务、社会网络、移动商务和开放协作等需求的推动，云计算迅速发展起来。不同于以往的并行分布式计算，云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。
下面基于图2所示的高性能计算存储系统的系统架构图，结合具体实施方式对本申请提供的数据处理方法以及电子设备等技术方案做出详细说明。
图3示出了数据处理方法的流程图，如图3所示，数据处理方法包括：
步骤S310：获取待处理数据，根据所述待处理数据确定所述待处理数据所在的当前持久化内存PMEM单元；
步骤S320：获取所述当前PMEM单元中与所述待处理数据对应的读取频率和写入频率；
步骤S330：通过所述控制器中的冷数据过滤器和热数据过滤器根据所述读取频率和所述写入频率对所述待处理数据进行过滤，以获取与所述待处理数据对应的数据类型；
步骤S340：根据所述数据类型将所述待处理数据移动至目标PMEM单元，所述目标PMEM单元为用于快写慢读的第一PMEM单元或者用于快读慢写的第二PMEM单元。
本申请的数据处理方法，通过高性能计算存储系统中的控制器根据待处理数据确定其所在的当前持久化内存PMEM单元；接着获取当前PMEM单元中与待处理数据对应的读取频率和写入频率；然后通过冷数据过滤器和热数据过滤器根据读取频率和写入频率对待处理数据进行过滤，以获取与待处理数据对应的数据类型；最后根据数据类型将待处理数据移动至目标PMEM单元，该目标PMEM单元为用于快写慢读的第一PMEM单元或者用于快读慢写的第二PMEM单元。本申请实施例通过冷数据过滤器和热数据过滤器根据读取/写入频率将写热数据存储于第一PMEM单元，将读热数据存储于第二PMEM单元，实现了对数据的分区存储，能够提高数据的读取/写入速率，减少了数据的读取/写入延迟。
下面对图3所示的数据处理方法的各个步骤进行详细说明。
在步骤S310中，获取待处理数据，根据所述待处理数据确定所述待处理数据所在的当前持久化内存PMEM单元。
在本申请的示例性实施例中，数据在写入内存时，会被随机写入第一PMEM单元或者第二PMEM单元，那么相应地，第一PMEM单元或者第二PMEM单元中的数据根据读取和写入频率也会被分为读热数据、写热数据和冷数据。在本申请的实施例中，第一PMEM单元可用于对数据进行快写慢读，第二PMEM单元可用于对数据进行快读慢写，那么相应地，第一PMEM单元主要用于存储写热数据，第二PMEM单元主要用于存储读热数据，因此为了保证数据的读写效率，需要对第一PMEM单元和第二PMEM单元中的数据进行移动，也就是，对数据进行分区存储。
在本申请的示例性实施例中，在接收到主机发送的读取/写入请求后，可以解析该读取/写入请求，以获取待处理数据，该待处理数据为待读取数据或者待覆盖数据。值得说明的是，本申请中的写入是对数据的覆盖操作，也就是将旧数据更新为新数据。接着可以将待处理数据与第一PMEM单元中的数据和第二PMEM单元中的数据进行匹配，当第一PMEM单元中存在与待处理数据匹配的数据时，将第一PMEM单元作为当前PMEM单元，当第二PMEM单元中存在与待处理数据匹配的数据时，将第二PMEM单元作为当前PMEM单元。
在本申请的示例性实施例中，第一PMEM单元的快写慢读功能和第二PMEM单元的快读慢写功能是通过HPC存储系统中的控制器管理实现的，对于第一PMEM单元，控制器会对其进行无验证操作+强ECC的配置设置，图4示意性示出了第一PMEM单元的读取/写入操作机理图，如图4所示，由于不存在验证操作，因此可以实现快速写入，但是由于存在强ECC，在读取数据时，需要进行多轮的加密解密操作，大量纠正第一PMEM单元中的错误，导致读取时延增加。对于第二PMEM单元，控制器会对其进行多轮验证操作+弱ECC的配置设置，图5示意性示出了第二PMEM单元的读取/写入操作机理图，如图5所示，在写入数据时，由于存在多轮验证操作，导致写入时延增加，而在读取数据时，只需要进行一次加解密操作，因此可以实现快速读取。
根据图4和图5所示的操作机理图可知，本申请实施例中的HPC存储系统实现了双非对称时延的读写处理，并且对读写数据进行了分区存储，这样不仅无需扩展PMEM的容量还保证了HPC存储系统的高可靠性。
在步骤S320中，获取所述当前PMEM单元中与所述待处理数据对应的读取频率和写入频率。
在本申请的示例性实施例中，在获取待处理数据后，可以保存与该待处理数据对应的读取/写入信息，并根据读取/写入信息更新与待处理数据对应的读取频率或者写入频率。其中，读取频率为单位时间周期内某数据的读取次数，当主机发送的为与待处理数据对应的读取信号时，那么可以在与待处理数据对应的当前时间周期内的读取次数的基础上加一，进而可以获取更新后的读取频率，相应地，写入频率为单位时间周期内某数据的写入次数，当主机发送的为与待处理数据对应的写入信号时，那么可以在与待处理数据对应的当前时间周期内的写入次数的基础上加一，进而可以获取更新后的写入频率。值得注意的是，由于写入操作后的数据值是变化的，但是数据对应的位置、类别是不变的，因此可以根据某个位置或者某个数据类别统计写入频率，例如每次的数据写入都是对位于A位置的数据进行覆盖，那么可以根据单位时间周期内A位置的数据变化次数确定写入频率，又例如，对数据类别为时间戳的数据进行覆盖，那么可以根据单位时间周期内时间戳的变化次数确定写入频率。
值得注意的是，该读取频率和写入频率是与待处理数据在当前PMEM单元中的读取次数和写入次数对应的，不包含待处理数据在不同于当前PMEM单元中的读取次数和写入次数。
在本申请的示例性实施例中，在完成对待处理数据的读取频率或者写入频率的更新后，可以获取与待处理数据对应的读取频率和写入频率，用于后续判断待处理数据的数据类型。
在步骤S330中，通过所述控制器中的冷数据过滤器和热数据过滤器根据所述读取频率和所述写入频率对所述待处理数据进行过滤，以获取与所述待处理数据对应的数据类型。
在本申请的示例性实施例中，控制器中包括冷数据过滤器和热数据过滤器，热数据过滤器分为读热数据过滤器和写热数据过滤器，当当前PMEM单元为第一PMEM单元时，采用冷数据过滤器和写热数据过滤器对待处理数据进行过滤，获取与待处理数据对应的数据类型，当当前PMEM单元为第二PMEM单元时，采用冷数据过滤器和读热数据过滤器对待处理数据进行过滤，获取与待处理数据对应的数据类型。
接下来，针对不同的过滤机制进行详细说明。
(1)当前PMEM单元为第一PMEM单元，热数据过滤器为写热数据过滤器。
图6示意性示出了第一PMEM单元对应的数据类型获取流程示意图，如图6所示，在步骤S601中，在冷数据过滤器中，将读取频率与冷数据阈值进行比较；在步骤S602中，当读取频率小于或等于冷数据阈值时，确定待处理数据的数据类型为冷数据；在步骤S603中，当读取频率大于冷数据阈值时，通过写热数据过滤器将写入频率与写热数据阈值进行比较；在步骤S604中，当写入频率大于写热数据阈值时，确定待处理数据的数据类型为写热数据；在步骤S605中，当写入频率小于或等于写热数据阈值时，确定待处理数据的数据类型为读热数据。
由于第一PMEM单元是快写慢读PMEM，主要用于存储写热数据，因此需要先根据读取频率进行初次过滤，然后再根据写入频率进行二次过滤，以将待处理数据归类为冷数据、读热数据或者写热数据。当读取频率小于或等于冷数据阈值时，可以确定待处理数据为冷数据；当读取频率大于冷数据阈值时，说明待处理数据可能是读热数据，也可能是写热数据，进一步地，通过将写入频率与写热数据阈值进行比较，可以唯一确定待处理数据是读热数据还是写热数据。具体地，当写入频率大于写热数据阈值时，可以确定该待处理数据为写热数据；当写入频率小于或等于写热数据阈值时，可以确定该待处理数据为读热数据。
其中，冷数据阈值和写热数据阈值为频率值，其大小可以根据实际需要进行设置，本申请实施例对此不作具体限定。当两个阈值都设置为高值时，第一PMEM单元的冷数据阈值会减少读取频率超过该阈值的数据量，因此，大多数数据被判断为冷数据，只有较少的数据可以通过冷数据过滤器。由于到达写热数据过滤器的数据量较少，因此写热数据过滤器对数据分类影响不大。当两个阈值设置为低值时，通过冷数据过滤器的数据中大部分数据被判断为热数据，到达写热数据过滤器的数据根据保存的写入频率和写热数据阈值将数据分为写热数据或读热数据，写热数据阈值越低，到达写热数据过滤器的数据越容易被判断为写热数据。
(2)当前PMEM单元为第二PMEM单元，热数据过滤器为读热数据过滤器。
图7示意性示出了第二PMEM单元对应的数据类型获取流程示意图，如图7所示，在步骤S701中，在冷数据过滤器中，将写入频率与冷数据阈值进行比较；在步骤S702中，当写入频率小于或等于冷数据阈值时，确定待处理数据的数据类型为冷数据；在步骤S703中，当写入频率大于冷数据阈值时，通过读热数据过滤器将读取频率与读热数据阈值进行比较；在步骤S704中，当读取频率大于所述读热数据阈值时，确定待处理数据的数据类型为读热数据；在步骤S705中，当读取频率小于或等于读热数据阈值时，确定待处理数据的数据类型为写热数据。
由于第二PMEM单元是快读慢写PMEM，主要用于存储读热数据，因此需要先根据写入频率进行初次过滤，然后再根据读取频率进行二次过滤，以将待处理数据归类为冷数据、读热数据或者写热数据。当写入频率小于或等于冷数据阈值时，可以确定待处理数据为冷数据；当写入频率大于冷数据阈值时，说明待处理数据可能是读热数据，也可能是写热数据，进一步地，通过将读取频率与读热数据阈值进行比较，可以唯一确定待处理数据是读热数据还是写热数据。具体地，当读取频率大于读热数据阈值时，可以确定该待处理数据为读热数据；当读取频率小于或等于读热数据阈值时，可以确定该待处理数据为写热数据。
其中，冷数据阈值和读热数据阈值为频率值，其大小可以根据实际需要进行设置，本申请实施例对此不作具体限定。当两个阈值都设置为高值时，第二PMEM单元的冷数据阈值会减少读取频率超过该阈值的数据量，因此，大多数数据被判断为冷数据，只有较少的数据可以通过冷数据过滤器。由于到达读热数据过滤器的数据量较少，因此读热数据过滤器对数据分类影响不大。当两个阈值设置为低值时，通过冷数据过滤器的数据中大部分数据被判断为热数据，到达写热数据过滤器的数据根据保存的读取频率和读热数据阈值将数据分为写热数据或读热数据，读热数据阈值越低，到达读热数据过滤器的数据越容易被判断为读热数据。
在步骤S340中，根据所述数据类型将所述待处理数据移动至目标PMEM单元，所述目标PMEM单元为用于快写慢读的第一PMEM单元或者用于快读慢写的第二PMEM单元。
在本申请的示例性实施例中，在获取待处理数据的数据类型后，可以根据数据类型将待处理数据移动至目标PMEM单元中。具体而言，当当前PMEM单元为第一PMEM单元时，若待处理数据为冷数据或者写热数据时，当前PMEM单元即为目标PMEM单元，也就是说，不用对待处理数据进行移动，若待处理数据为读热数据时，第二PMEM单元即为目标PMEM单元，待处理数据需要移动至第二PMEM单元中；当当前PMEM单元为第二PMEM单元时，若待处理数据为冷数据或者读热数据时，当前PMEM单元即为目标PMEM单元，也就是说，不用对待处理数据进行移动，若待处理数据为写热数据时，第一PMEM单元即为目标PMEM单元，待处理数据需要移动至第一PMEM单元中。
在本申请的示例性实施例中，当将待处理数据由当前PMEM单元移动至目标PMEM单元后，需要删除当前PMEM单元中与待处理数据对应的读取/写入信息记录，在目标PMEM单元中重新记录待处理数据对应的读取/写入信息。具体地，当当前PMEM单元为第一PMEM单元时，在将待处理数据移动至第二PMEM单元之后，删除第一PMEM单元中与待处理数据对应的读取/写入信息记录，在第二PMEM单元中重新记录待处理数据对应的读取/写入信息；当当前PMEM单元为第二PMEM单元时，在将待处理数据移动至第一PMEM单元之后，删除第二PMEM单元中与待处理数据对应的读取/写入信息记录，在第一PMEM单元中重新记录待处理数据对应的读取/写入信息。
通过上述实施例中的方法，可以将写热数据和读热数据分区存储，无需扩展PMEM容量还保证了存储系统的可靠性。进一步地，对于读取/写入频率小于或等于冷数据阈值被判定为冷数据的数据，可以将其存储于第一PMEM单元和第二PMEM单元中，同时对第一PMEM单元和第二PMEM单元中的存储空间进行检测，当存储空间小于或等于预设阈值时，将第一PMEM单元和第二PMEM单元中所有冷数据根据使用时间和使用频率进行排序，并根据预设容量阈值从冷数据序列中确定最近最少使用的待移动冷数据，并将待移动冷数据移动至SSD中，以释放第一PMEM单元和第二PMEM单元中的存储空间。也就是说，第一PMEM单元和第二PMEM单元除了可以存储热数据之外还可以存储冷数据，并且只有在存储空间容量不足的情况下才会将最近最少使用的冷数据移动至SSD，这样可以避免频繁移动冷数据到SSD，降低SSD的性能和寿命。
本申请中的数据处理方法和高性能计算存储系统可以应用于任意需要高性能计算的场景中，例如可以应用于气象气候监测、地质勘探、航空航天、工程计算、材料工程、大数据分析等领域。
以气象气候监测场景中的气象预报为例，在预测大气变化和状态时，气象预报需要用数学方法构建方程，要将气象数据和边界参数导入方程求解。为了提高存储系统的可靠性和性能，可以先将边界参数和气象数据存储于第一PMEM单元和/或第二PMEM单元中，然后响应主机的读取/写入请求，获取待处理数据，该待处理数据可能是气象数据，也可能是边界参数，在获取待处理数据后，确定其所在的当前PMEM单元，然后根据当前PMEM单元对应的冷数据过滤器和热数据过滤器对待处理数据进行过滤，确定其所对应的数据类型，然后根据数据类型将待处理数据移动至目标PMEM单元中。
由于边界参数的读取频率高，气象数据的写入频率高，因此优选将边界参数存储于快读慢写的第二PMEM单元中，气象数据存储于快写慢读的第一PMEM单元中。在本申请实施例中，对于第一PMEM单元，可以将对应的冷数据阈值设定为低值、写热数据阈值设定为介于边界数据最大写入频率和气象数据最小写入频率之间的值，对于第二PMEM单元，可以将对应的冷数据阈值设定为低值、读热数据阈值设定为介于气象数据最大读取频率和边界参数最小读取频率之间的值。进而，当边界参数存储于第一PMEM单元中时，首先根据读取频率和冷数据阈值将其判定为热数据，然后根据边界参数的写入频率和写热数据阈值将其判定为读热数据，并将其移动至第二PMEM单元中；当边界参数存储于第二PMEM单元中时，首先根据边界参数的写入频率和冷数据阈值将其判定为热数据，然后根据边界参数的读取频率和读热数据阈值将其判定为读热数据，并将其保留在第二PMEM单元中；当气象数据存储于第一PMEM单元中时，首先根据气象数据的读取频率和冷数据阈值将其判定为热数据，然后根据气象数据的写入频率和写热数据阈值将其判定为写热数据，并将其保留在第一PMEM单元中；当气象数据存储于第二PMEM单元中时，首先根据气象数据的写入频率和冷数据阈值将其判定为热数据，然后根据气象数据的读取频率和读热数据阈值将其判定为写热数据，并将其移动至第一PMEM单元中。在将数据分区后，可以将气象数据快速写入第一PMEM单元中，并从第二PMEM单元中快速读取边界参数。
本申请实施例中的数据处理方法中，通过高性能计算存储系统中的控制器根据待处理数据确定其所在的当前持久化内存PMEM单元；接着获取当前PMEM单元中与待处理数据对应的读取频率和写入频率；然后通过冷数据过滤器和热数据过滤器根据读取频率和写入频率对待处理数据进行过滤，以获取与待处理数据对应的数据类型；最后根据数据类型将待处理数据移动至目标PMEM单元，该目标PMEM单元为用于快写慢读的第一PMEM单元或者用于快读慢写的第二PMEM单元。本申请实施例通过冷数据过滤器和热数据过滤器根据读取/写入频率进行数据移动，将写热数据存储于第一PMEM单元，将读热数据存储于第二PMEM单元，实现了对数据的分区存储，能够提高数据的读取/写入速率，减少了数据的读取/写入延迟。另外，PMEM单元中的冷数据只有在PMEM单元中的存储空间不足时，才会移动到SSD中，避免了频繁将PMEM单元中的数据移动到SSD以及将SSD中的数据移动至PMEM单元，提高了SSD的性能和寿命。进一步地，本申请中的高性能计算存储系统无需升级改造硬件，针对存在高并发的数据处理的场景，可以实现更高的存储性能。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本申请实施方式的方法。
图8示意性地示出了用于实现本申请实施例的电子设备的计算机系统结构框图，该电子设备可以是设置于控制器中。
需要说明的是，图8示出的电子设备的计算机系统800仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，计算机系统800包括中央处理器801(Central Processing Unit，CPU)，其可以根据存储在只读存储器802(Read-Only Memory，ROM)中的程序或者从存储部分808加载到随机访问存储器803(Random Access Memory，RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器803中，还存储有系统操作所需的各种程序和数据。中央处理器801、在只读存储器802以及随机访问存储器803通过总线804彼此相连。输入/输出接口805(Input/Output接口，即I/O接口)也连接至总线804。
在一些实施例中，以下部件连接至输入/输出接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid CrystalDisplay，LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至输入/输出接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理器801执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台电子设备执行根据本申请实施方式的方法。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (15)

1.一种数据处理方法，其特征在于，应用于高性能计算HPC存储系统中的控制器，包括：
获取待处理数据，根据所述待处理数据确定所述待处理数据所在的当前持久化内存PMEM单元；
获取所述当前PMEM单元中与所述待处理数据对应的读取频率和写入频率；
通过所述控制器中的冷数据过滤器和热数据过滤器根据所述读取频率和所述写入频率对所述待处理数据进行过滤，以获取与所述待处理数据对应的数据类型；
根据所述数据类型将所述待处理数据移动至目标PMEM单元，所述目标PMEM单元为用于快写慢读的第一PMEM单元或者用于快读慢写的第二PMEM单元。
2.根据权利要求1所述的方法，其特征在于，在获取待处理数据之前，所述方法还包括：
响应并解析主机的读取/写入请求，以获取所述待处理数据。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述待处理数据确定所述待处理数据所在的当前持久化内存PMEM单元，包括：
将所述待处理数据与所述第一PMEM单元中的数据和所述第二PMEM单元中的数据进行匹配；
当所述第一PMEM单元中存在与所述待处理数据匹配的数据时，将所述第一PMEM单元作为所述当前PMEM单元；
当所述第二PMEM单元中存在与所述待处理数据匹配的数据时，将所述第二PMEM单元作为所述当前PMEM单元。
4.根据权利要求1所述的方法，其特征在于，在获取所述目标PMEM单元中与所述待处理数据对应的读取频率和写入频率之前，所述方法还包括：
保存与所述待处理数据对应的读取/写入信息，并根据所述读取/写入信息更新与所述待处理数据对应的读取频率或者写入频率。
5.根据权利要求1或4中所述的方法，其特征在于，所述当前PMEM单元为第一PMEM单元，所述热数据过滤器为写热数据过滤器；
所述通过所述控制器中的冷数据过滤器和热数据过滤器根据所述读取频率和所述写入频率对所述待处理数据进行过滤，以获取所述待处理数据的数据类型，包括：
通过所述冷数据过滤器将所述读取频率与冷数据阈值进行比较；
当所述读取频率小于或等于所述冷数据阈值时，确定所述待处理数据的数据类型为冷数据；
当所述读取频率大于所述冷数据阈值时，通过所述写热数据过滤器将所述写入频率与写热数据阈值进行比较，根据比较结果确定所述待处理数据的数据类型。
6.根据权利要求5中所述的方法，其特征在于，所述通过所述写热数据过滤器将所述写入频率与写热数据阈值进行比较，根据比较结果确定所述待处理数据的数据类型，包括：
当所述写入频率大于所述写热数据阈值时，确定所述待处理数据的数据类型为写热数据；
当所述写入频率小于或等于所述写热数据阈值时，确定所述待处理数据的数据类型为读热数据。
7.根据权利要求6所述的方法，其特征在于，所述根据所述数据类型将所述待处理数据移动至目标PMEM单元，包括：
当所述待处理数据的数据类型为冷数据或者写热数据时，将所述第一PMEM单元作为所述目标PMEM单元；
当所述待处理数据的数据类型为读热数据时，将所述第二PMEM单元作为所述目标PMEM单元，并将所述待处理数据移动至所述第二PMEM单元。
8.根据权利要求7所述的方法，其特征在于，在将所述待处理数据移动至所述第二PMEM单元之后，所述方法还包括：
删除所述第一PMEM单元中与所述待处理数据对应的读取/写入信息记录，在所述第二PMEM单元中重新记录所述待处理数据对应的读取/写入信息。
9.根据权利要求1或4中所述的方法，其特征在于，所述当前PMEM单元为第二PMEM单元，所述热数据过滤器为读热数据过滤器；
所述通过所述控制器中的冷数据过滤器和热数据过滤器根据所述读取频率和所述写入频率对所述待处理数据进行过滤，以获取所述待处理数据的数据类型，包括：
通过所述冷数据过滤器将所述写入频率与冷数据阈值进行比较；
当所述写入频率小于或等于所述冷数据阈值时，确定所述待处理数据的数据类型为冷数据；
当所述写入频率大于所述冷数据阈值时，通过所述读热数据过滤器将所述读取频率与读热数据阈值进行比较，根据比较结果确定所述待处理数据的数据类型。
10.根据权利要求9中所述的方法，其特征在于，所述通过所述读热数据过滤器将所述读取频率与读热数据阈值进行比较，根据比较结果确定所述待处理数据的数据类型，包括：
当所述读取频率大于所述读热数据阈值时，确定所述待处理数据的数据类型为读热数据；
当所述读取频率小于或等于所述读热数据阈值时，确定所述待处理数据的数据类型为写热数据。
11.根据权利要求10所述的方法，其特征在于，所述根据所述数据类型将所述待处理数据移动至目标PMEM单元，包括：
当所述待处理数据的数据类型为冷数据或者读热数据时，将所述第二PMEM单元作为所述目标PMEM单元；
当所述待处理数据的数据类型为写热数据时，将所述第一PMEM单元作为所述目标PMEM单元，并将所述待处理数据移动至所述第一PMEM单元。
12.根据权利要求11所述的方法，其特征在于，在将所述待处理数据移动至所述第一PMEM单元之后，所述方法还包括：
删除所述第二PMEM单元中与所述待处理数据对应的读取/写入信息记录，在所述第一PMEM单元中重新记录所述待处理数据对应的读取/写入信息。
13.根据权利要求1所述的方法，其特征在于，所述高性能计算存储系统还包括固态硬盘SSD；
在将所述待处理数据移动至所述目标PMEM单元后，所述方法还包括：
将所述第一PMEM单元和/或所述第二PMEM单元的剩余存储空间容量与预设容量阈值进行比较；
当所述剩余存储空间容量小于或等于所述预设容量阈值时，获取所述第一PMEM单元和/或所述第二PMEM单元中的待移动冷数据，并将所述待移动冷数据移动至所述SSD中。
14.一种高性能计算存储系统，其特征在于，包括：
第一PMEM单元，用于存储热数据和冷数据，并对数据进行快写慢读；
第二PMEM单元，与所述第一PMEM单元连接，用于存储热数据和冷数据，并对数据进行快读慢写；
固态硬盘SSD，与所述第一PMEM单元和所述第二PMEM单元连接，用于在所述第一PMEM单元和/或所述第二PMEM单元的存储空间不足时存储冷数据；
控制器，与所述第一PMEM单元、所述第二PMEM单元和所述SSD连接，用于根据待处理数据确定所述待处理数据所在的当前持久化内存PMEM单元；获取所述当前PMEM单元中与所述待处理数据对应的读取频率和写入频率；通过冷数据过滤器和热数据过滤器根据所述读取频率和所述写入频率对所述待处理数据进行过滤，并根据过滤获取的与所述待处理数据对应的数据类型将所述待处理数据移动至目标PMEM单元，所述目标PMEM单元为用于快写慢读的第一PMEM单元或者用于快读慢写的第二PMEM单元。
15.一种电子设备，其特征在于，包括：
控制器；以及
存储器，用于存储所述控制器的可执行指令；
其中，所述控制器配置为经由执行所述可执行指令来执行权利要求1～13中任意一项所述的数据处理方法。
CN202310593625.2A 2023-05-23 2023-05-23 数据处理方法、高性能计算存储系统及电子设备 Pending CN116755614A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310593625.2A CN116755614A (zh) 2023-05-23 2023-05-23 数据处理方法、高性能计算存储系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310593625.2A CN116755614A (zh) 2023-05-23 2023-05-23 数据处理方法、高性能计算存储系统及电子设备

Publications (1)

Publication Number Publication Date
CN116755614A true CN116755614A (zh) 2023-09-15

Family

ID=87946903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310593625.2A Pending CN116755614A (zh) 2023-05-23 2023-05-23 数据处理方法、高性能计算存储系统及电子设备

Country Status (1)

Country Link
CN (1) CN116755614A (zh)

Similar Documents

Publication Publication Date Title
US11960726B2 (en) Method and apparatus for SSD storage access
US11307769B2 (en) Data storage method, apparatus and storage medium
CN108519862B (zh) 区块链系统的存储方法、装置、系统和存储介质
US9177028B2 (en) Deduplicating storage with enhanced frequent-block detection
US8086819B2 (en) Solid state drive optimizer
CN102479245B (zh) 数据区块的切分方法
CN104281533A (zh) 一种存储数据的方法及装置
US20160034201A1 (en) Managing de-duplication using estimated benefits
CN111177143A (zh) 键值数据存储方法、装置、存储介质与电子设备
CN107632781B (zh) 一种分布式存储多副本快速校验一致性的方法及存储结构
CN113326005A (zh) 一种raid存储系统的读写方法和装置
CN104050057A (zh) 一种历史感知的数据去重碎片消除方法与系统
CN114035750A (zh) 文件处理方法、装置、设备、介质及产品
CN112764662B (zh) 用于存储管理的方法、设备和计算机程序产品
CN110851434A (zh) 一种数据存储方法、装置及设备
CN109542860B (zh) 基于hdfs的业务数据管理方法、终端设备
CN116755614A (zh) 数据处理方法、高性能计算存储系统及电子设备
CN115576947A (zh) 一种数据管理方法、装置、组合库、电子设备及存储介质
WO2019007315A1 (zh) 闪存设备中数据写入的方法及设备
CN110490581B (zh) 一种分布式系统临界数据资源更新方法及系统
CN113467724A (zh) 一种crc校验码存储方法、装置、设备及介质
CN112783804A (zh) 数据访问方法、装置及存储介质
US11340811B2 (en) Determining reclaim information for a storage block based on data length and matching write and delete parameters
US20230385240A1 (en) Optimizations for data deduplication operations
CN113641304B (zh) 用于管理数据块的方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination