CN113076060A - 一种单点日志存储方法 - Google Patents

一种单点日志存储方法 Download PDF

Info

Publication number
CN113076060A
CN113076060A CN202110259650.8A CN202110259650A CN113076060A CN 113076060 A CN113076060 A CN 113076060A CN 202110259650 A CN202110259650 A CN 202110259650A CN 113076060 A CN113076060 A CN 113076060A
Authority
CN
China
Prior art keywords
log
disk
log file
storage
hash algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110259650.8A
Other languages
English (en)
Other versions
CN113076060B (zh
Inventor
李文宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Upyun Technology Co ltd
Original Assignee
Hangzhou Upyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Upyun Technology Co ltd filed Critical Hangzhou Upyun Technology Co ltd
Priority to CN202110259650.8A priority Critical patent/CN113076060B/zh
Publication of CN113076060A publication Critical patent/CN113076060A/zh
Application granted granted Critical
Publication of CN113076060B publication Critical patent/CN113076060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种单点日志存储方法，包括以下步骤：当边缘节点的客户端发送日志上传请求后，服务端解析出特征参数；通过使用磁盘分布参数初始化散列算法，将特征参数输入到初始化后的散列算法，计算得到磁盘块偏移量，根据磁盘块偏移量确定日志文件存储盘块，将日志文件存储盘块和日志上传请求中的统一资源标识符建立关联，确定日志文件的逻辑存储位置；将确定的日志文件的逻辑存储位置输入到冗余存储算法中，计算得出日志文件的多个物理存储路径；根据多个物理存储路径将日志文件从网卡缓冲区移动到磁盘缓冲区，再从磁盘缓冲区移动到目标磁盘扇区，达到高可用高性能的单点日志存取处理能力。

Description

一种单点日志存储方法
技术领域
本发明涉及日志文件处理性能优化和文件可靠存储领域，具体涉及一种单点日志存储方法。
背景技术
随着大数据时代的到来，互联网公司的业务服务将产生大量的日志，大量统计分析业务场景依赖日志信息，日志量级的增长与分析业务类型的丰富，传统文件存储的方式存在严重的性能瓶颈，严重阻碍正常分析业务的发展。
传统日志文件存储方法，是基于磁盘文件系统完成的简单文件管理过程。在海量数据场景下存在诸多问题，比如文件可靠性不足，文件查找效率低下，管理流程繁琐等等。需要投入大量硬件和花费高昂人月成本维护软件。
发明内容
本发明的目的是在有限硬件资源的情况下，提供了一种单点日志存储方法，达到高可用高性能的单点日志存取处理能力。
为解决上述技术问题，本发明提供一种单点日志存储方法，包括以下步骤：
(1)当边缘节点的客户端发送日志上传请求后，服务端解析出特征参数；
(2)通过使用磁盘分布参数初始化散列算法，将步骤1)获得的特征参数输入到初始化后的散列算法，计算得到磁盘块偏移量，根据磁盘块偏移量确定日志文件存储盘块，将日志文件存储盘块和日志上传请求中的统一资源标识符建立关联，确定日志文件的逻辑存储位置；
(3)将步骤(2)确定的日志文件的逻辑存储位置输入到冗余存储算法中，计算得出日志文件的多个物理存储路径；
(4)根据步骤(3)得到的多个物理存储路径将日志文件从网卡缓冲区移动到磁盘缓冲区，再从磁盘缓冲区移动到目标磁盘扇区。
本发明中，采用散列算法和冗余存储算法结合，散列算法可以确定日志文件的逻辑存储位置，冗余存储算法可以确定日志文件的多个物理存储路径，提高日志文件存储的可靠性，避免某些磁盘损坏而导致无法获取文件。
步骤(1)中，所述的特征参数包括：机名、网络IP、日志生成时间、日志所属应用名称等等。
步骤(2)中，所述的磁盘分布参数是根据需要存储的磁盘确定的，是已知参数。
优选的，特定散列算法模型，满足计算效率高且随机特征分布良好，混合使用MurmurHash和FNV散列算法达到性能最优。
所述的散列算法为MurmurHash散列算法和FNV散列算法。
将步骤1)获得的特征参数输入到初始化后的散列算法，具体包括：
将特征参数中的机名和网络IP输入到初始化后的FNV散列算法，得到第一计算值；
将特征参数中的日志生成时间、日志所属应用名称输入到初始化后的MurmurHash散列算法，得到第二计算值；
将第一计算值和第二计算值进行叠加，取模得到磁盘块偏移量。
本发明中，其中，FNV散列算法能够将不规则的字符串充分离散化；MurmurHash散列算法将有规律的连续字符串充分离散化；采用FNV散列算法和MurmurHash散列算法结合，可高效均匀地分配到各个磁盘中，避免某些磁盘分配不均。
所述的单点日志存储方法，还包括：
(5)磁盘容量检测，定时监测磁盘状况，通过事件触发日志清理任务，降低运维负担。
本发明中，该方法包括：
当边缘节点的客户端发送日志上传请求后，服务端解析出特征参数，根据散列算法确定日志文件存储位置；
使用磁盘分布参数初始化特定散列算法；
利用特定散列算法计算盘块偏移量，将日志文件从网卡缓冲区拷贝到磁盘缓冲区，进而存储到磁盘特定扇区；
日志文件保存到物理磁盘后，还配置有磁盘容量检测，定时监测磁盘状况，通过事件触发日志清理任务。
优选的，特定散列算法模型，满足计算效率高且随机特征分布良好，混合使用MurmurHash和FNV散列算法达到性能最优。
优选的，所述客户端提供的特征参数，作为散列算法的计算输入参数，包括但不限于：
主机名，网路IP，日志生成时间，日志所属应用名称等等。
优选的，所述通过散列算法确定文件存储位置之前，还包括：
通过输入磁盘分布参数初始化特定散列算法。
优选的，所述的利用特定散列算法计算盘块偏移量，将日志文件从网卡缓冲区移动到磁盘缓冲区之前，还包括：
通过输入特征参数到散列算法，计算出磁盘块偏移量，逻辑路径唯一，而多副本保存，将文件保存到多个物理磁盘扇区。
优选的，所述的将日志文件保存到磁盘特定扇区之前，还包括：
使用存储散列算法和冗余存储算法，计算多个存储偏移量，叠加逻辑存储路径后，写入磁盘的对应扇区。
优选的，所述叠加逻辑路径存储日志文件之后，还包括：
使用相同散列算法和冗余存储算法，处理日志文件存储过程和获取过程。
优选的，所述将日志保存到物理磁盘后，还配置有磁盘容量检测，定时监测磁盘状况，通过事件触发日志清理任务之前，还包括：
使用守护程序检测物理磁盘利用率，清理日志时判断日志创建时间是否满足清理条件。
与现有技术相比，本发明具有如下优点：
本发明所提供的一种单点日志存储办法，当边缘节点的客户端发送日志上传请求后，服务端解析出特征参数，根据散列算法确定日志文件存储位置；使用磁盘分布参数初始化特定散列算法；利用特定散列算法计算盘块偏移量，将日志文件从网卡缓冲区移动到磁盘缓冲区，进而存储到磁盘特定扇区；日志文件保存到物理磁盘后，还配置有磁盘容量检测，定时监测磁盘状况，通过事件触发日志清理任务。可见，通过散列算法将客户端请求特征参数与日志文件逻辑存储路径产生映射关系，通过散列算法确定日志文件最终写入磁盘的盘块偏移量有效提高日志文件写入效率，另外通过散列算法和冗余存储算法输出满足多副本保存需求的存储日志文件的多物理路径，有效提升日志文件查找处理效率，提高日志文件存储的可靠性。自动检测磁盘容量，事件触发清理历史日志文件，有效降低系统维护开销，节省硬件资源和降低人月成本。
本发明单点日志文件存储的方法，随着用户量快速增长，CDN边缘节点产生海量访问日志，迫切需要一种高性能高可靠的存储方案。本发明设计了一种基于散列算法实现在磁盘阵列上的读写文件的策略，利用冗余存储达到可靠性目标，通过监控磁盘剩余容量及文件修改时间定期清理日志文件。本发明的单点日志存储方法，在海量日志存储场景有显著效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明单点日志存储方法的流程示意图。
图2为本发明所提供的一种日志存储方法的流程图。
图3为本发明完成上传日志文件到最终落盘的示意图，其中，disk表示磁盘，server表示服务器，client表示客户端。
具体实施方式
本发明的核心是提供一种单点日志存储方法，以提高日志文件存储处理效率，提高日志存储可靠性，降低硬件资源和降低人月成本。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种单点日志存储方法，其特征在于，包括以下步骤：
(1)当边缘节点的客户端发送日志上传请求后，服务端解析出特征参数；
步骤(1)中，所述的特征参数包括：机名、网络IP、日志生成时间、日志所属应用名称等等。
(2)通过使用磁盘分布参数初始化散列算法，将步骤1)获得的特征参数输入到初始化后的散列算法，计算得到磁盘块偏移量，根据磁盘块偏移量确定日志文件存储盘块，将日志文件存储盘块和日志上传请求中的统一资源标识符建立关联，确定日志文件的逻辑存储位置；
步骤(2)中，所述的磁盘分布参数是根据需要存储的磁盘确定的，是已知参数。
散列算法为MurmurHash散列算法和FNV散列算法。
将步骤1)获得的特征参数输入到初始化后的散列算法，具体包括：
将特征参数中的机名和网络IP输入到初始化后的FNV散列算法，得到第一计算值；
将特征参数中的日志生成时间、日志所属应用名称输入到初始化后的MurmurHash散列算法，得到第二计算值；
将第一计算值和第二计算值进行叠加，取模得到磁盘块偏移量。
本发明中，其中，FNV散列算法能够将不规则的字符串充分离散化；MurmurHash散列算法将有规律的连续字符串充分离散化；采用FNV散列算法和MurmurHash散列算法结合，可高效均匀地分配到各个磁盘中，避免某些磁盘分配不均。
(3)将步骤(2)确定的日志文件的逻辑存储位置输入到冗余存储算法中，计算得出日志文件的多个物理存储路径；
(4)根据步骤(3)得到的多个物理存储路径将日志文件从网卡缓冲区移动到磁盘缓冲区，再从磁盘缓冲区移动到目标磁盘扇区。
请参考图2，图2为本发明所提供的一种单点日志存储方法的流程图，该方法包括：
当客户端发送日志上传请求后，服务端解析出特征参数，使用特定散列算法计算块偏移量；
确定日志文件存储的逻辑路径，使用特定散列算法和冗余存储算法计算出多个物理路径，将日志文件写入对应磁盘扇区。
其中，服务端解析客户端上传时提供的特征参数，作为散列算法的计算输入参数，包括不限于：主机名、网络IP、日志生成时间、日志所属应用名称等等。
应用散列算法确定文件存储位置之前，通过输入分布参数初始化特性散列算法。
初始化散列算法后，通过计算日志文件上传请求中的统一资源标识符得到磁盘块偏移量。
可见，通过特定散列算法，将日志文件存储盘块和上传请求中的统一资源标识符建立关联，有效降低了日志文件存储过程中磁盘容量分配不均的概率，显著提升日志文件存储的效率。
具体的，再通过通过特征参数确定日志文件的唯一逻辑路径，再利用散列算法和冗余存储算法得到多个物理路径，将文件写入目标磁盘块的扇区，显著避免了文件同名覆盖的风险，也提高了日志文件可靠性，从而对日志文件处理效率也有显著效果。
更详细的，该方法具体过程为：
(1)当客户端发送日志上传请求后，服务端解析出特征参数；
(2)通过使用磁盘分布参数初始化散列算法；
(3)通过输入请求的统一资源标识符到特定散列算法确定日志文件的逻辑存储位置；
(4)使用散列算法和冗余存储算法计算得出日志文件的多个物理存储路径；
(5)将日志文件从网卡缓冲区移动到磁盘缓冲区，再从磁盘缓冲区移动到目标磁盘扇区；
本发明提出的一种单点日志存储方法，通过将客户端请求特征参数与日志文件逻辑存储路径产生映射关系，通过散列算法确定日志文件最终写入磁盘的盘块偏移量有效提高日志文件写入效率。这样使用更少的硬件资源，完成更可靠的日志文件存储，和更完成更高效的日志文件存储以及日志文件读取分析任务。
具体的，通过特定散列算法和冗余存储算法，将日志文件保存到多个特定磁盘的多个存储扇区，避免了日志文件重名覆盖和提升了系统的存取效率,节省硬件资源和人月开发成本。
图3为本发明完成上传日志文件到最终落盘的示意图，其中虚线箭头为一份日志文件的保存数据流，实线为另一份日志文件的保存数据流，该设计中将日志文件保存的物理路径分摊到不同磁盘，而逻辑路径仅需唯一，即日志文件的存储逻辑路径和实际物理保存路径不存在线性关联。
文件存储从网卡缓冲区移动到具体磁盘缓冲区，将日志文件从磁盘缓冲区移动到多个物理磁盘扇区，其具体流程为：按照磁盘分布参数初始化特定散列算法，输入上传日志文件请求的特征参数到特定散列算法，得出磁盘块偏移量，在使用散列算法和冗余存储算法，计算得到日志文件的多副本存储位置，将文件从磁盘缓冲区移动到具体磁盘扇区。
综上，本发明提供的一种单点日志存储方法，当客户端上传日志文件，服务端收到请求，解析出请求中的特征参数，在通过一系列算法计算出日志文件存储位置。可见，通过散列算法和冗余存储算法，有效提高日志文件存储可靠性，以及提高日志文件存取效率，降低硬件资源和人月成本投入。有效避免了日志文件同名覆盖风险提升整体日志系统处理效率。
以上对本发明所提供的一种单点日志存储方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式的阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (5)

1.一种单点日志存储方法，其特征在于，包括以下步骤：
(1)当边缘节点的客户端发送日志上传请求后，服务端解析出特征参数；
(2)通过使用磁盘分布参数初始化散列算法，将步骤1)获得的特征参数输入到初始化后的散列算法，计算得到磁盘块偏移量，根据磁盘块偏移量确定日志文件存储盘块，将日志文件存储盘块和日志上传请求中的统一资源标识符建立关联，确定日志文件的逻辑存储位置；
(3)将步骤(2)确定的日志文件的逻辑存储位置输入到冗余存储算法中，计算得出日志文件的多个物理存储路径；
(4)根据步骤(3)得到的多个物理存储路径将日志文件从网卡缓冲区移动到磁盘缓冲区，再从磁盘缓冲区移动到目标磁盘扇区。
2.根据权利要求1所述的单点日志存储方法，其特征在于，步骤(1)中，所述的特征参数包括：机名、网络IP、日志生成时间、日志所属应用名称。
3.根据权利要求1所述的单点日志存储方法，其特征在于，步骤(2)中，所述的散列算法为MurmurHash散列算法和FNV散列算法。
4.根据权利要求1所述的单点日志存储方法，其特征在于，步骤(2)中，将步骤1)获得的特征参数输入到初始化后的散列算法，具体包括：
将特征参数中的机名和网络IP输入到初始化后的FNV散列算法，得到第一计算值；
将特征参数中的日志生成时间、日志所属应用名称输入到初始化后的MurmurHash散列算法，得到第二计算值；
将第一计算值和第二计算值进行叠加，取模得到磁盘块偏移量。
5.根据权利要求1所述的单点日志存储方法，其特征在于，还包括：(5)磁盘容量检测，监测磁盘状况，通过事件触发日志清理任务。
CN202110259650.8A 2021-03-10 2021-03-10 一种单点日志存储方法 Active CN113076060B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110259650.8A CN113076060B (zh) 2021-03-10 2021-03-10 一种单点日志存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110259650.8A CN113076060B (zh) 2021-03-10 2021-03-10 一种单点日志存储方法

Publications (2)

Publication Number Publication Date
CN113076060A true CN113076060A (zh) 2021-07-06
CN113076060B CN113076060B (zh) 2022-02-22

Family

ID=76612186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110259650.8A Active CN113076060B (zh) 2021-03-10 2021-03-10 一种单点日志存储方法

Country Status (1)

Country Link
CN (1) CN113076060B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101189675A (zh) * 2005-06-02 2008-05-28 Lg电子株式会社 记录介质、再现数据的装置及其方法、存储数据的装置及其方法
US20090034377A1 (en) * 2007-04-27 2009-02-05 English Robert M System and method for efficient updates of sequential block storage
CN101809566A (zh) * 2007-10-01 2010-08-18 微软公司 高效的文件散列标识符计算
US20130024722A1 (en) * 2011-07-22 2013-01-24 Microsoft Corporation Virtual disk replication using log files
CN102915212A (zh) * 2012-09-19 2013-02-06 记忆科技(深圳)有限公司 一种固态硬盘的raid实现方法、固态硬盘及电子设备
CN103098070A (zh) * 2010-09-23 2013-05-08 惠普发展公司，有限责任合伙企业 用于监视网络服务中数据位置的方法、装置和系统
CN103902382A (zh) * 2014-03-25 2014-07-02 浪潮电子信息产业股份有限公司 一种基于负载均衡的文件系统日志模型
CN105893188A (zh) * 2014-09-30 2016-08-24 伊姆西公司 用于加速磁盘阵列的数据重构的方法和装置
CN103270499B (zh) * 2011-12-21 2016-10-05 华为技术有限公司 日志存储方法及系统
CN106648467A (zh) * 2016-12-28 2017-05-10 税友软件集团股份有限公司 一种日志生成方法及系统
CN109508144A (zh) * 2018-08-30 2019-03-22 郑州云海信息技术有限公司 一种日志处理方法及相关装置
US20190155746A1 (en) * 2017-11-17 2019-05-23 SK Hynix Memory Solutions America Inc. Methods and memory systems for address mapping
CN112416889A (zh) * 2020-10-27 2021-02-26 中科曙光南京研究院有限公司 分布式存储系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101189675A (zh) * 2005-06-02 2008-05-28 Lg电子株式会社 记录介质、再现数据的装置及其方法、存储数据的装置及其方法
US20090034377A1 (en) * 2007-04-27 2009-02-05 English Robert M System and method for efficient updates of sequential block storage
CN101809566A (zh) * 2007-10-01 2010-08-18 微软公司 高效的文件散列标识符计算
CN103098070A (zh) * 2010-09-23 2013-05-08 惠普发展公司，有限责任合伙企业 用于监视网络服务中数据位置的方法、装置和系统
US20130024722A1 (en) * 2011-07-22 2013-01-24 Microsoft Corporation Virtual disk replication using log files
CN103270499B (zh) * 2011-12-21 2016-10-05 华为技术有限公司 日志存储方法及系统
CN102915212A (zh) * 2012-09-19 2013-02-06 记忆科技(深圳)有限公司 一种固态硬盘的raid实现方法、固态硬盘及电子设备
CN103902382A (zh) * 2014-03-25 2014-07-02 浪潮电子信息产业股份有限公司 一种基于负载均衡的文件系统日志模型
CN105893188A (zh) * 2014-09-30 2016-08-24 伊姆西公司 用于加速磁盘阵列的数据重构的方法和装置
CN106648467A (zh) * 2016-12-28 2017-05-10 税友软件集团股份有限公司 一种日志生成方法及系统
US20190155746A1 (en) * 2017-11-17 2019-05-23 SK Hynix Memory Solutions America Inc. Methods and memory systems for address mapping
CN109800180A (zh) * 2017-11-17 2019-05-24 爱思开海力士有限公司 用于地址映射的方法和存储器系统
CN109508144A (zh) * 2018-08-30 2019-03-22 郑州云海信息技术有限公司 一种日志处理方法及相关装置
CN112416889A (zh) * 2020-10-27 2021-02-26 中科曙光南京研究院有限公司 分布式存储系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YI DU: "An Effective Hash-based Method for Generating Synthetic Well Log", 《2008 THIRD INTERNATIONAL CONFERENCE ON PERVASIVE COMPUTING AND APPLICATIONS》 *
荆冰: "基于MooseFS的云存储系统的研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Also Published As

Publication number Publication date
CN113076060B (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
WO2021077745A1 (zh) 一种分布式存储系统的数据读写方法
US7440977B2 (en) Recovery method using extendible hashing-based cluster logs in shared-nothing spatial database cluster
US20190229978A1 (en) Designation of a standby node
US20160132523A1 (en) Exploiting node-local deduplication in distributed storage system
KR20060123310A (ko) 시퀀스 관리 장치, 데이터 백업 방법 및 컴퓨터 판독 가능기록 매체
CN109614276A (zh) 故障处理方法、装置、分布式存储系统和存储介质
US11314431B2 (en) Distributed data blocks using storage path cost values
Yan et al. An Effective RAID Data Layout for Object‐Based De‐duplication Backup System
CN109669822A (zh) 电子装置、备用存储池的创建方法和计算机可读存储介质
CN113010496A (zh) 一种数据迁移方法、装置、设备和存储介质
CN114416665B (zh) 一种数据一致性检测和修复的方法、装置及介质
US11397711B1 (en) Proxy-based database scaling
CN113076060B (zh) 一种单点日志存储方法
CN111984196B (zh) 一种文件迁移方法、装置、设备及可读存储介质
EP3349416B1 (en) Relationship chain processing method and system, and storage medium
CN111949396A (zh) 一种网络设备监测方法及其系统、计算机可读存储介质
CN114697353B (zh) 一种分布式存储集群电网数据存储控制方法
CN115993932A (zh) 数据处理方法、装置、存储介质以及电子设备
CN111625506A (zh) 一种基于删除队列的分布式数据删除方法、装置及设备
CN111459928B (zh) 应用于集群范围内数据备份场景的数据去重方法及应用
Shen Distributed storage system model design in internet of things based on hash distribution
US20230325257A1 (en) Workload measures based on access locality
US9244832B1 (en) Cache learning model
Xiong et al. ECCH: Erasure Coded Consistent Hashing for Distributed Storage Systems
CN111241068B (zh) 信息处理方法、装置及设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant