CN114706535A - 一种磁光电混合存储方法及装置 - Google Patents

一种磁光电混合存储方法及装置 Download PDF

Info

Publication number
CN114706535A
CN114706535A CN202210535820.5A CN202210535820A CN114706535A CN 114706535 A CN114706535 A CN 114706535A CN 202210535820 A CN202210535820 A CN 202210535820A CN 114706535 A CN114706535 A CN 114706535A
Authority
CN
China
Prior art keywords
data
time
storage medium
calculating
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210535820.5A
Other languages
English (en)
Other versions
CN114706535B (zh
Inventor
张理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kds Datacenter Solution Co ltd
Original Assignee
Beijing Kds Datacenter Solution Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kds Datacenter Solution Co ltd filed Critical Beijing Kds Datacenter Solution Co ltd
Priority to CN202210535820.5A priority Critical patent/CN114706535B/zh
Publication of CN114706535A publication Critical patent/CN114706535A/zh
Application granted granted Critical
Publication of CN114706535B publication Critical patent/CN114706535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G06F3/0649—Lifecycle management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本发明涉及一种磁光电混合存储方法及装置，属于数据存储技术领域，用于合理存储数据。利用沉降模型计算沉降时间，当数据在电存储介质中的存储时间达到沉降时间后，将数据迁移至磁存储介质。利用升降模型计算迁移方向以及迁移时间，当数据在磁存储介质中的存储时间达到迁移时间后，根据迁移方向将数据迁移至电存储介质或者光存储介质。当数据迁移至光存储介质，则利用预提模型计算预提时间，当数据在光存储介质中的存储时间达到预提时间后，将数据迁移至磁存储介质，从而通过建立沉降模型、升降模型和预提模型实现数据在电存储介质、磁存储介质和光存储介质上的迁移过程，将数据存储至合适的存储介质中，提升磁光电混合存储系统的整体性耗比。

Description

一种磁光电混合存储方法及装置
技术领域
本发明涉及数据存储技术领域，特别是涉及一种基于电子数据自动沉降和预提算法的磁光电混合存储方法及装置。
背景技术
在基于光盘库的磁光电混合存储系统中，分层存储的数据在不同存储介质上的存储性能与能耗不同，数据在电存储介质中存储速度最快但能耗最大，在光存储介质中存储速度最慢但能耗最小，数据在磁存储介质中的存储速度和能耗处于电存储介质和光存储介质两者之间。目前现有技术采用将数据统一存放的方式，按照数据类型或数据存放时间的不同存放至不同存储介质，但这种方法无法实现将要求不同的数据放入合适的存储介质中，无法达到提升磁光电混合存储系统的整体性耗比的效果。
基于此，亟需一种新的存储方法及装置，以提升磁光电混合存储系统的整体性耗比。
发明内容
本发明的目的是提供一种磁光电混合存储方法及装置，采用沉降模型、预提模型和升降模型将数据存储至合适的存储介质中，提升磁光电混合存储系统的整体性耗比。
为实现上述目的，本发明提供了如下方案：
一种磁光电混合存储方法，应用于磁光电混合存储系统，所述磁光电混合存储系统包括电存储介质、磁存储介质和光存储介质，所述存储方法包括：
将传入的数据存储到所述电存储介质中；
利用沉降模型计算沉降时间；当所述数据在所述电存储介质中的存储时间达到所述沉降时间后，将所述数据迁移至所述磁存储介质；
当所述数据迁移至所述磁存储介质后，利用升降模型计算迁移方向以及迁移时间；当所述数据在所述磁存储介质中的存储时间达到所述迁移时间后，根据所述迁移方向将所述数据迁移至所述电存储介质或者所述光存储介质；
若所述数据迁移至所述电存储介质，则返回“利用沉降模型计算沉降时间”的步骤；
若所述数据迁移至所述光存储介质，则利用预提模型计算预提时间；当所述数据在所述光存储介质中的存储时间达到所述预提时间后，将所述数据迁移至所述磁存储介质，返回“当所述数据迁移至所述磁存储介质后，利用升降模型计算迁移方向以及迁移时间”的步骤。
一种磁光电混合存储装置，应用于磁光电混合存储系统，所述磁光电混合存储系统包括电存储介质、磁存储介质和光存储介质，所述存储装置包括：
初始存储模块，用于将传入的数据存储到所述电存储介质中；
沉降时间计算模块，用于利用沉降模型计算沉降时间；当所述数据在所述电存储介质中的存储时间达到所述沉降时间后，将所述数据迁移至所述磁存储介质；
迁移计算模块，用于当所述数据迁移至所述磁存储介质后，利用升降模型计算迁移方向以及迁移时间；当所述数据在所述磁存储介质中的存储时间达到所述迁移时间后，根据所述迁移方向将所述数据迁移至所述电存储介质或者所述光存储介质；
返回模块，用于若所述数据迁移至所述电存储介质，则返回“利用沉降模型计算沉降时间”的步骤；
预提时间计算模块，用于若所述数据迁移至所述光存储介质，则利用预提模型计算预提时间；当所述数据在所述光存储介质中的存储时间达到所述预提时间后，将所述数据迁移至所述磁存储介质，返回“当所述数据迁移至所述磁存储介质后，利用升降模型计算迁移方向以及迁移时间”的步骤。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明用于提供一种磁光电混合存储方法及装置，应用于磁光电混合存储系统，先将传入的数据存储到电存储介质中，利用沉降模型计算沉降时间，当数据在电存储介质中的存储时间达到沉降时间后，将数据迁移至磁存储介质。利用升降模型计算迁移方向以及迁移时间，当数据在磁存储介质中的存储时间达到迁移时间后，根据迁移方向将数据迁移至电存储介质或者光存储介质。若数据迁移至光存储介质，则利用预提模型计算预提时间，当数据在光存储介质中的存储时间达到预提时间后，将数据迁移至磁存储介质，从而通过建立沉降模型、升降模型和预提模型实现数据在电存储介质、磁存储介质和光存储介质上的迁移过程，将数据存储至合适的存储介质中，提升磁光电混合存储系统的整体性耗比。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1所提供的存储方法的方法流程图；
图2为本发明实施例2所提供的存储装置的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种磁光电混合存储方法及装置，采用沉降模型、预提模型和升降模型将数据存储至合适的存储介质中，提升磁光电混合存储系统的整体性耗比。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1：
本实施例用于提供一种磁光电混合存储方法，应用于磁光电混合存储系统，该磁光电混合存储系统包括电存储介质、磁存储介质和光存储介质，电存储介质、磁存储介质、光存储介质的存储速度依次降低，存储能耗依次降低。如图1所示，所述存储方法包括：
S1：将传入的数据存储到所述电存储介质中；
本实施例的数据为电子数据，可包括档案文件、电子文件等。
S2：利用沉降模型计算沉降时间；当所述数据在所述电存储介质中的存储时间达到所述沉降时间后，将所述数据迁移至所述磁存储介质；
沉降模型用于将电存储介质上的数据沉降至磁存储介质，这样就实现了将数据从能耗高的电存储介质沉降至能耗低的磁存储介质，从而实现了降低磁光电混合存储系统的存储能耗的目标，直接提升了磁光电混合存储系统的性耗比。相较于未将数据分类，将数据全量存入电存储介质中的方法，因部分数据无需提供即刻在线服务，这部分数据存在电存储介质中，会造成对电能的损耗。而本实施例的沉降模型用来判断数据是否需要提供即刻在线服务，计算出沉降时间，当存储时间达到沉降时间后，则将数据迁移存储至磁存储介质中，大大提高性耗比。
具体的，S2中，利用沉降模型计算沉降时间可以包括：以数据的数据元信息、数据的最近使用频率和电存储介质剩余空间为输入，利用沉降模型计算沉降时间，数据元信息包括数据的大小、时间和类型。本实施例的沉降模型可包括依次连接的时间编码器和时间感知器，时间编码器包括多层双向GRU模型，时间感知器包括多层神经网络。
更为具体的，沉降模型f e-down 的输入为数据元信息M（s，t，p）（数据元信息包含数据的大小s，时间t和类型p），最近使用频率f和电存储介质剩余空间V，输出为沉降时间t e 。具体实现方法为：沉降模型f e-down 由一个预训练好的时间编码器T encoder 和一个设置参数的多层时间感知器
Figure 519048DEST_PATH_IMAGE001
组成，即：
Figure 55203DEST_PATH_IMAGE002
；
其中，
Figure 853263DEST_PATH_IMAGE001
表示由
Figure 301824DEST_PATH_IMAGE003
层神经网络组成的时间感知器，
Figure 37699DEST_PATH_IMAGE004
表示由
Figure 626812DEST_PATH_IMAGE005
层双向GRU模型组成的时间编码器。
沉降时间：
Figure DEST_PATH_IMAGE006
。
S3：当所述数据迁移至所述磁存储介质后，利用升降模型计算迁移方向以及迁移时间；当所述数据在所述磁存储介质中的存储时间达到所述迁移时间后，根据所述迁移方向将所述数据迁移至所述电存储介质或者所述光存储介质；
升降模型用于将磁存储介质上的数据沉降至光存储介质，或将磁存储介质上的数据预提至电存储介质，以将数据从能耗低的磁存储介质中沉降至能耗最低或无能耗的光存储介质中，或将数据从响应速度快的磁存储介质中预提至响应速度最快的电存储介质中，从而实现了降低磁光电混合存储系统的存储能耗或者提升磁光电混合存储系统的存储性能的目标，直接提升了磁光电混合存储系统的性耗比。相较于未将磁存储介质中的数据沉降或预提的方法，因部分数据无需提供快速的服务，这部分数据存在磁存储介质中，会造成更多的能耗；或者因部分数据的使用具有周期性和临时性，这部分数据长期存在磁存储介质中，再次使用时，响应速度慢。而本实施例的升降模型用来判断数据是否需要沉降或预提，计算出迁移方向以及迁移时间，当存储时间达到迁移时间后，则根据迁移方向将数据迁移存储至电存储介质或者光存储介质中，大大提高性耗比。
具体的，S3中，利用升降模型计算迁移方向以及迁移时间可以包括：以数据的数据元信息、数据的最近使用频率、磁存储介质剩余空间、节日时间点、数据的数据标签、热度话题和事件榜单为输入，利用升降模型计算迁移方向以及迁移时间，数据元信息包括数据的大小、时间和类型。
本实施例的升降模型包括沉降特征提取模块、预提特征提取模块、迁移方向计算模块和迁移时间计算模块。
沉降特征提取模块用于以数据的数据元信息、数据的最近使用频率和磁存储介质剩余空间为输入，计算沉降特征向量。具体的，沉降特征提取模块包括依次连接的时间编码器和第一卷积神经网络，时间编码器包括多层双向GRU模型。
预提特征提取模块用于以节日时间点、数据的数据标签、热度话题和事件榜单为输入，计算预提特征向量。具体的，预提特征提取模块包括依次连接的关联度查找器和第二卷积神经网络，关联度查找器包括多层transformer模型。
迁移方向计算模块分别与沉降特征提取模块和预提特征提取模块相连接，迁移方向计算模块用于根据沉降特征向量和预提特征向量计算迁移方向。
迁移时间计算模块分别与沉降特征提取模块和预提特征提取模块相连接，迁移时间计算模块用于以沉降特征向量和预提特征向量为输入，计算迁移时间。具体的，迁移时间计算模块包括拼接单元和时间感知器，拼接单元用于将沉降特征向量和预提特征向量相拼接，得到拼接后向量，时间感知器用于以拼接后向量为输入，计算迁移时间，时间感知器包括多层神经网络。
更为具体的，f m-up-down 基于沉降模型和预提模型设计，所用的时间编码器和沉降模型的时间编码器相同，所用的关联度查找器与预提模型f o-up 的关联度查找器相同，输出为数据的迁移方向direc（即向上迁移到电存储介质或向下迁移到光存储介质）以及迁移时间t m ，即：direc，t m =f m-up-down （f e-down ，f o-up ），具体实现方法为：
以数据的数据元信息、数据的最近使用频率和磁存储介质剩余空间为输入，利用时间编码器计算沉降特征T down 。以节日时间点、数据的数据标签、热度话题和事件榜单为输入，利用关联度查找器计算预提特征T up 。
将T down 和T up 分别输入第一卷积神经网络CNN down 和第二卷积神经网络CNN up 中，获取沉降特征向量v down 和预提特征向量v up ，并实现维度统一，得到相同维度的v down 和v up ，即：v down =CNN down （T down ），v up =CNN up （T up ）。
通过计算对比对数，求出迁移方向direc，即根据沉降特征向量和预提特征向量计算迁移方向可以包括：以沉降特征向量和预提特征向量为输入，利用迁移方向计算公式计算迁移方向。
迁移方向计算公式为：
Figure 498954DEST_PATH_IMAGE007
；
其中，direc为迁移方向；v up 为预提特征向量；v down 为沉降特征向量。
将两个向量v down 和v up 拼接，通过时间感知器计算，求出迁移时间t m ：
Figure 133064DEST_PATH_IMAGE008
。
S4：若所述数据迁移至所述电存储介质，则返回“利用沉降模型计算沉降时间”的步骤；
S5：若所述数据迁移至所述光存储介质，则利用预提模型计算预提时间；当所述数据在所述光存储介质中的存储时间达到所述预提时间后，将所述数据迁移至所述磁存储介质，返回“当所述数据迁移至所述磁存储介质后，利用升降模型计算迁移方向以及迁移时间”的步骤。
预提模型用于将数据从光存储介质预提至磁存储介质，这样就实现了将数据从响应速度慢的光存储介质预提至响应速度快的磁存储介质中，从而实现了提升磁光电混合存储系统的存储性能的目标，直接提升了磁光电混合存储系统的性耗比。相较于未将光存储介质中的数据提前分类以及预提的情况，因部分数据的使用具有周期性和临时性，这部分数据长期存在光存储介质中，再次使用时，响应速度非常慢。而本实施例提出的预提模型可以判断数据是否需要预提，计算预提时间，当数据在光存储介质中的存储时间达到预提时间后，则将数据从光存储介质预提到磁存储介质，大大提高性耗比。
具体的，S5中，利用预提模型计算预提时间可以包括：以节日时间点、数据的数据标签、热度话题和事件榜单为输入，利用预提模型计算预提时间。预提模型包括依次连接的关联度查找器和关联度感知器，关联度查找器包括多层transformer模型，关联度感知器包括多层神经网络。
更为具体的，预提模型f o-up 的输入为节日时间点
Figure 808765DEST_PATH_IMAGE009
，数据标签p，热度话题e以及事件榜单l，输出为预提时间t o ，预提模型将数据按照突发热点话题关联度，节日关键时间点，热榜事件榜单进行数据内容关联建模，具体实现方法为：
f o-up 为一个预训练好的内容关联度查找器T transformer 和一个设置参数的多层关联度感知器
Figure 749039DEST_PATH_IMAGE010
组成。即：
Figure 741266DEST_PATH_IMAGE011
；
其中，
Figure 593947DEST_PATH_IMAGE010
表示由
Figure 304414DEST_PATH_IMAGE012
层神经网络组成的关联度感知器，
Figure 313958DEST_PATH_IMAGE013
表示由
Figure 878801DEST_PATH_IMAGE014
层的transformer模型组成的关联度查找器，transformer模型的主要功能为查询输入的各向量之间的相似特征，为关联度感知器提供权重依据。
最终，预提时间的计算方式为：
Figure 417229DEST_PATH_IMAGE015
。
为提升电子文件在磁光电混合存储系统中的整体性耗比，本实施例创造性地提出采用沉降模型、升降模型和预提模型，从数据沉降与预提两个方向入手，提升磁光电混合存储系统的性耗比。本实施例提出了采取对数据进行自动沉降与预提的方法，将对速度要求不严格的数据进行自动沉降，从存储能耗高的存储介质沉降至存储能耗低的存储介质，将对速度要求高的数据进行自动预提，从存储性能低的存储介质提升至存储性能高的存储介质，以提高磁光电混合存储系统的整体数据存储性能与能耗比。
以下，对磁光电混合存储系统的混合存储方法的步骤进行进一步的说明：
（1）当数据D通过互联网传入磁光电混合存储系统后，首先将数据D在电存储介质中进行快速存储。
（2）电介质沉降模型f e-down 对电存储介质上的数据D的数据元信息M D （s D ，t D ，p D ）、电介质剩余存储空间V D ，最近使用频率f D 进行建模，计算出沉降时间t e ：
t e =f e-down （M D ，f D ，V D ）；
其中，沉降时间t e 表示数据在电存储介质上留存的时间，也即数据失活时间，即从数据落入电存储介质上的那一刻起，经过t e 时间之后，数据从电存储介质上迁移至磁存储介质上。
（3）当数据D到达磁存储介质后，磁介质升降模型f m-up-down 对数据的沉降模型
Figure 34899DEST_PATH_IMAGE016
和预提模型
Figure 582555DEST_PATH_IMAGE017
进行建模，计算出迁移方向direc以及迁移时间t m ：
Figure 736325DEST_PATH_IMAGE018
；
其中，direc为0时，代表数据迁移方向为沉降，即由磁存储介质下沉到光存储介质，direc为1时，代表数据迁移方向为预提，即由磁存储介质上升至电存储介质。t m 表示数据在磁存储介质上留存的时间，即从数据落入磁存储介质上的那一刻起，经过t m 时间后，数据从磁存储介质上迁移至电存储介质或光存储介质上。
（4）若数据D迁移至电存储介质后，则进行第（2）步操作，若数据D迁移至光存储介质，则进行第（5）步操作。
（5）对迁移到光存储介质的数据，预提模型f o-up 对光存储介质上的数据D的数据标签p D ，节日时间点
Figure 976813DEST_PATH_IMAGE019
，热度话题e D 以及事件榜单l D 进行建模，计算出数据预提时间t o ：
Figure 927452DEST_PATH_IMAGE020
；
其中，t o 表示数据在光存储介质上留存的时间，也即数据的激活时间，即从数据落入光存储介质上的那一刻起，经过t o 时间之后，数据从光存储介质上迁移至磁存储介质上。
（6）数据D到达磁存储介质后，则进行第(3)步操作。
这样就实现了根据数据实际使用情况，动态智能的实现了合理的低能耗存储，在保证数据可被使用以及及时被使用的性能要求下，大大减少了数据在电存储介质上的能耗，而数据在光存储介质上能耗基本为0，间接地实现了绿色存储。
相比存储时间为t的存储系统，在相同存储性能的情况下，磁光电混合存储系统的存储能耗时间提升了：
Figure 763952DEST_PATH_IMAGE021
。
需要说明的是，本实施例所用的沉降模型、升降模型和预提模型均为预训练好的模型。
使用具有自动沉降和预提算法的磁光电混合存储系统进行存储大数据，系统可智能地选取特定数据进行最优化的性能与能耗度量并分配合适的存储介质进行数据迁移存储，从最大程度上提升了系统的存储能力，节约了电能消耗，实现了绿色高性能存储。
实施例2：
本实施例用于提供一种磁光电混合存储装置，应用于磁光电混合存储系统，所述磁光电混合存储系统包括电存储介质、磁存储介质和光存储介质，如图2所示，所述存储装置包括：
初始存储模块M1，用于将传入的数据存储到所述电存储介质中；
沉降时间计算模块M2，用于利用沉降模型计算沉降时间；当所述数据在所述电存储介质中的存储时间达到所述沉降时间后，将所述数据迁移至所述磁存储介质；
迁移计算模块M3，用于当所述数据迁移至所述磁存储介质后，利用升降模型计算迁移方向以及迁移时间；当所述数据在所述磁存储介质中的存储时间达到所述迁移时间后，根据所述迁移方向将所述数据迁移至所述电存储介质或者所述光存储介质；
返回模块M4，用于若所述数据迁移至所述电存储介质，则返回“利用沉降模型计算沉降时间”的步骤；
预提时间计算模块M5，用于若所述数据迁移至所述光存储介质，则利用预提模型计算预提时间；当所述数据在所述光存储介质中的存储时间达到所述预提时间后，将所述数据迁移至所述磁存储介质，返回“当所述数据迁移至所述磁存储介质后，利用升降模型计算迁移方向以及迁移时间”的步骤。
本说明书中每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种磁光电混合存储方法，应用于磁光电混合存储系统，所述磁光电混合存储系统包括电存储介质、磁存储介质和光存储介质，其特征在于，所述存储方法包括：
将传入的数据存储到所述电存储介质中；
利用沉降模型计算沉降时间；当所述数据在所述电存储介质中的存储时间达到所述沉降时间后，将所述数据迁移至所述磁存储介质；
当所述数据迁移至所述磁存储介质后，利用升降模型计算迁移方向以及迁移时间；当所述数据在所述磁存储介质中的存储时间达到所述迁移时间后，根据所述迁移方向将所述数据迁移至所述电存储介质或者所述光存储介质；
若所述数据迁移至所述电存储介质，则返回“利用沉降模型计算沉降时间”的步骤；
若所述数据迁移至所述光存储介质，则利用预提模型计算预提时间；当所述数据在所述光存储介质中的存储时间达到所述预提时间后，将所述数据迁移至所述磁存储介质，返回“当所述数据迁移至所述磁存储介质后，利用升降模型计算迁移方向以及迁移时间”的步骤。
2.根据权利要求1所述的存储方法，其特征在于，所述利用沉降模型计算沉降时间具体包括：
以所述数据的数据元信息、所述数据的最近使用频率和电存储介质剩余空间为输入，利用沉降模型计算沉降时间；所述数据元信息包括数据的大小、时间和类型。
3.根据权利要求1或2所述的存储方法，其特征在于，所述沉降模型包括依次连接的时间编码器和时间感知器；所述时间编码器包括多层双向GRU模型；所述时间感知器包括多层神经网络。
4.根据权利要求1所述的存储方法，其特征在于，所述利用升降模型计算迁移方向以及迁移时间具体包括：
以所述数据的数据元信息、所述数据的最近使用频率、磁存储介质剩余空间、节日时间点、所述数据的数据标签、热度话题和事件榜单为输入，利用升降模型计算迁移方向以及迁移时间；所述数据元信息包括数据的大小、时间和类型。
5.根据权利要求4所述的存储方法，其特征在于，所述升降模型包括沉降特征提取模块、预提特征提取模块、迁移方向计算模块和迁移时间计算模块；
所述沉降特征提取模块用于以所述数据的数据元信息、所述数据的最近使用频率和所述磁存储介质剩余空间为输入，计算沉降特征向量；
所述预提特征提取模块用于以所述节日时间点、所述数据的数据标签、所述热度话题和所述事件榜单为输入，计算预提特征向量；
所述迁移方向计算模块分别与所述沉降特征提取模块和所述预提特征提取模块相连接；所述迁移方向计算模块用于根据所述沉降特征向量和所述预提特征向量计算迁移方向；
所述迁移时间计算模块分别与所述沉降特征提取模块和所述预提特征提取模块相连接；所述迁移时间计算模块用于以所述沉降特征向量和所述预提特征向量为输入，计算迁移时间。
6.根据权利要求5所述的存储方法，其特征在于，所述沉降特征提取模块包括依次连接的时间编码器和第一卷积神经网络；所述时间编码器包括多层双向GRU模型；
所述预提特征提取模块包括依次连接的关联度查找器和第二卷积神经网络；所述关联度查找器包括多层transformer模型；
所述迁移时间计算模块包括拼接单元和时间感知器；所述拼接单元用于将所述沉降特征向量和所述预提特征向量相拼接，得到拼接后向量；所述时间感知器用于以所述拼接后向量为输入，计算迁移时间；所述时间感知器包括多层神经网络。
7.根据权利要求5所述的存储方法，其特征在于，所述根据所述沉降特征向量和所述预提特征向量计算迁移方向具体包括：
以所述沉降特征向量和所述预提特征向量为输入，利用迁移方向计算公式计算迁移方向；
所述迁移方向计算公式为：
Figure 29472DEST_PATH_IMAGE001
；
其中，direc为迁移方向；v up 为预提特征向量；v down 为沉降特征向量。
8.根据权利要求1所述的存储方法，其特征在于，所述利用预提模型计算预提时间具体包括：
以节日时间点、所述数据的数据标签、热度话题和事件榜单为输入，利用预提模型计算预提时间。
9.根据权利要求1或8所述的存储方法，其特征在于，所述预提模型包括依次连接的关联度查找器和关联度感知器；所述关联度查找器包括多层transformer模型；所述关联度感知器包括多层神经网络。
10.一种磁光电混合存储装置，应用于磁光电混合存储系统，所述磁光电混合存储系统包括电存储介质、磁存储介质和光存储介质，其特征在于，所述存储装置包括：
初始存储模块，用于将传入的数据存储到所述电存储介质中；
沉降时间计算模块，用于利用沉降模型计算沉降时间；当所述数据在所述电存储介质中的存储时间达到所述沉降时间后，将所述数据迁移至所述磁存储介质；
迁移计算模块，用于当所述数据迁移至所述磁存储介质后，利用升降模型计算迁移方向以及迁移时间；当所述数据在所述磁存储介质中的存储时间达到所述迁移时间后，根据所述迁移方向将所述数据迁移至所述电存储介质或者所述光存储介质；
返回模块，用于若所述数据迁移至所述电存储介质，则返回“利用沉降模型计算沉降时间”的步骤；
预提时间计算模块，用于若所述数据迁移至所述光存储介质，则利用预提模型计算预提时间；当所述数据在所述光存储介质中的存储时间达到所述预提时间后，将所述数据迁移至所述磁存储介质，返回“当所述数据迁移至所述磁存储介质后，利用升降模型计算迁移方向以及迁移时间”的步骤。
CN202210535820.5A 2022-05-18 2022-05-18 一种磁光电混合存储方法及装置 Active CN114706535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210535820.5A CN114706535B (zh) 2022-05-18 2022-05-18 一种磁光电混合存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210535820.5A CN114706535B (zh) 2022-05-18 2022-05-18 一种磁光电混合存储方法及装置

Publications (2)

Publication Number Publication Date
CN114706535A true CN114706535A (zh) 2022-07-05
CN114706535B CN114706535B (zh) 2022-08-26

Family

ID=82176187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210535820.5A Active CN114706535B (zh) 2022-05-18 2022-05-18 一种磁光电混合存储方法及装置

Country Status (1)

Country Link
CN (1) CN114706535B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107193507A (zh) * 2017-07-12 2017-09-22 北京越洋紫晶数据科技有限公司 磁光电混合存储方法和装置
CN107979636A (zh) * 2017-11-10 2018-05-01 上海华讯网络系统有限公司 冷热数据分介质存储平台设计系统及方法
CN108874311A (zh) * 2018-05-29 2018-11-23 北京盛和大地数据科技有限公司 融合存储系统中的数据迁移方法和装置
CN110914815A (zh) * 2017-07-20 2020-03-24 国际商业机器公司 在训练认知分层存储管理系统时优化用户满意度

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107193507A (zh) * 2017-07-12 2017-09-22 北京越洋紫晶数据科技有限公司 磁光电混合存储方法和装置
CN110914815A (zh) * 2017-07-20 2020-03-24 国际商业机器公司 在训练认知分层存储管理系统时优化用户满意度
CN107979636A (zh) * 2017-11-10 2018-05-01 上海华讯网络系统有限公司 冷热数据分介质存储平台设计系统及方法
CN108874311A (zh) * 2018-05-29 2018-11-23 北京盛和大地数据科技有限公司 融合存储系统中的数据迁移方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHUCHENG WANG ET.AL: "Exploration and Exploitation for Buffer-Controlled HDD-Writes for SSD-HDD Hybrid Storage Server", 《ACM TRANSACTIONS ON STORAGE》 *
倪志云 等: "基于磁光电混合存储技术的新型数据中心建设探讨", 《数据通信》 *
吴晨雪 等: "磁光电混合存储技术研究综述", 《激光与光电子学进展》 *

Also Published As

Publication number Publication date
CN114706535B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN105653591B (zh) 一种工业实时数据分级存储及迁移方法
CN102591947B (zh) 用于数据去重复的快速且低ram占用的索引
US9048862B2 (en) Systems and methods for selecting data compression for storage data in a storage system
CN104199815B (zh) 在重复数据删除系统中减少摘要存储消耗的方法和系统
US8082388B2 (en) Optimizing operational requests of logical volumes
US20140279953A1 (en) Reducing digest storage consumption in a data deduplication system
CN111083933B (zh) 数据存储及获取方法和装置
AU2010200866B1 (en) Data reduction indexing
RU2651216C2 (ru) Способ, устройство и компьютерный носитель данных для перемещения данных
CN105187564A (zh) 一种手机端文件断点续传的方法
CN106648456A (zh) 基于用户访问量以及预测机制的动态副本文件访问方法
CN114706535B (zh) 一种磁光电混合存储方法及装置
WO2014140958A1 (en) Digest retrieval based on similarity search in data deduplication
CN106802772A (zh) 数据回收的方法、装置及固态硬盘
CN107621927A (zh) 一种基于超融合系统的纵向扩展方法及其装置
CN115516447A (zh) 热点新闻意图识别方法、装置、设备及可读存储介质
WO2020248598A1 (zh) 一种数据分块存储方法、装置及电子设备
CN117215973A (zh) 一种缓存数据的处理方法、深度学习训练方法和系统
CN117220366A (zh) 一种可快充储能电池的控制方法及储能电池控制设备
CN116526005A (zh) 电动汽车电池充电温度控制方法、系统、装置及存储介质
CN113591509A (zh) 车道线检测模型的训练方法、图像处理方法及装置
CN112306406A (zh) 智能存储自动分级的方法、装置、存储介质及电子设备
Huang et al. LSMQ: A layer-wise sensitivity-based mixed-precision quantization method for bit-flexible CNN accelerator
Wei et al. Fastensor: Optimise the Tensor I/O Path from SSD to GPU for Deep Learning Training
CN115878042A (zh) 一种数据存储系统、数据处理方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant