CN110908589A - 数据文件的处理方法、装置、系统和存储介质 - Google Patents

数据文件的处理方法、装置、系统和存储介质 Download PDF

Info

Publication number
CN110908589A
CN110908589A CN201811074947.1A CN201811074947A CN110908589A CN 110908589 A CN110908589 A CN 110908589A CN 201811074947 A CN201811074947 A CN 201811074947A CN 110908589 A CN110908589 A CN 110908589A
Authority
CN
China
Prior art keywords
data
data file
file
common
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811074947.1A
Other languages
English (en)
Other versions
CN110908589B (zh
Inventor
佘海斌
彭海林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Cloud Computing Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201811074947.1A priority Critical patent/CN110908589B/zh
Publication of CN110908589A publication Critical patent/CN110908589A/zh
Application granted granted Critical
Publication of CN110908589B publication Critical patent/CN110908589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G06F3/0641—De-duplication techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据文件的处理方法、装置、系统和存储介质。该方法包括：对第一数据文件进行切块，得到第一数据文件的数据块；判断常用数据缓存中是否存在与第一数据文件相匹配的常用数据文件，第一数据文件的至少预定数目个数据块对应的数据包含在相匹配的常用数据文件对应的数据中；如果存在相匹配的常用数据文件，建立指向相匹配的常用数据文件的链接；将未包含在相匹配的常用数据文件对应的数据中的第一数据文件的数据块写入第二数据文件，以替代第一数据文件。根据本发明实施例提供的数据文件的处理方法，在重复数据删除过程中，可以减少CPU资源的占用，提高重复数据删除效率。

Description

数据文件的处理方法、装置、系统和存储介质
技术领域
本发明涉及存储服务技术领域，尤其涉及一种数据文件的处理方法、装置、系统和存储介质。
背景技术
随着计算机技术和互联网技术的快速发展，用户对高性能存储的需求量越来越大，并且高性能存储的成本也将大幅度提高。高性能存储设备例如由固态硬盘构成的全闪存存储阵列，通常价格都比较昂贵。
通过重复数据删除技术，删除有限的存储空间中的重复数据，达到降低数据存储量，节省存储设备的存储空间和节约成本的目的。
现有技术中，在进行重复数据删除时，可以将存储设备中的有效数据读取到内存中，在内存中进行重复数据删除处理，最后将重删处理后的数据写入存储设备。上述重复数据删除过程涉及大量数据的搬运，从而额外占用CPU资源，重复数据删除效率低。
发明内容
本发明实施例提供一种数据文件的处理方法、装置、系统和存储介质，可以在重复数据删除过程中，减少CPU资源的占用，提高重复数据删除效率。
根据本发明实施例的一方面，提供一种数据文件的处理方法，包括：
对第一数据文件进行切块，得到第一数据文件的数据块；
判断常用数据缓存中是否存在与第一数据文件相匹配的常用数据文件，第一数据文件的至少预定数目个数据块对应的数据包含在相匹配的常用数据文件对应的数据中；
如果存在相匹配的常用数据文件，建立指向相匹配的常用数据文件的链接；
将未包含在相匹配的常用数据文件对应的数据中的第一数据文件的数据块写入第二数据文件，以替代第一数据文件。
根据本发明实施例的另一方面，提供一种数据文件的处理装置，包括：
数据文件切块模块，用于对第一数据文件进行切块，得到第一数据文件的数据块；
常用数据匹配判断模块，用于判断常用数据缓存中是否存在与第一数据文件相匹配的常用数据文件，第一数据文件的至少预定数目个数据块对应的数据包含在相匹配的常用数据文件对应的数据中；
文件链接建立模块，用于如果存在相匹配的常用数据文件，建立指向相匹配的常用数据文件的链接；
数据文件写入模块，用于将未包含在相匹配的常用数据文件对应的数据中的第一数据文件的数据块写入第二数据文件，以替代第一数据文件。
根据本发明实施例的再一方面，提供一种数据文件的处理系统，包括：存储器和处理器；该存储器用于存储程序；该处理器用于读取存储器中存储的可执行程序代码以执行上述的数据文件的处理方法。
根据本发明实施例的又一方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行上述各方面的数据文件的处理方法。
根据本发明实施例的还一方面，提供了一种分布式文件系统，包括：
块存储设备，包括多个设备分段，每个设备分段包括数据文件和对应的索引文件；
设备读写管理模块，用于向元数据管理模块发送块存储设备的设备分段中的垃圾数据统计信息、以及读取和/或写入设备分段的数据文件；
元数据管理模块，用于根据垃圾数据统计信息，向垃圾回收模块发送数据回收请求；
数据回收模块，用于响应于数据回收请求，对块存储设备的设备分段进行数据回收，并在数据回收的过程中，对数据文件执行上述的数据文件的处理方法。
根据本发明实施例中的数据文件的处理方法、装置、系统和存储介质，对存储设备中的有效数据切块以得到数据块，如果该有效数据的数据块所记录的数据是否包含在常用数据缓存中的常用数据文件所记录的数据中，则在存储设备中直接引用常用数据缓存中的常用数据文件所记录的该数据，从而达到去除存储设备中重复数据的效果，节省存储设备的存储空间，整个过程中不涉及数据搬运，运算量低且对分布式存储系统性能影响非常小，数据去重效率高。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是示出根据本发明实施例的云计算架构的框架示意图；
图2是示出根据本发明实施例的分布式文件系统中日志结构块设备的结构示意图；
图3是示出根据本发明实施例的日志结构块设备的设备分段结构示意图；
图4是示出根据本发明实施例的设备分段的数据写入流程示意图；
图5是示出根据本发明实施例的存储设备的垃圾回收的工作流程示意图；
图6是示出根据本发明实施例的数据文件的处理方法的处理过程示意图；
图7是示出根据本发明实施例的利用一致性哈希算法对数据块的指纹进行分布式存储的原理示意图；
图8是示出根据本发明实施例的指纹哈希映射表的结构示意图；
图9是示出根据本发明实施例的数据文件的处理方法的流程图；
图10是示出根据本发明实施例提供的数据文件的处理装置的结构示意图；
图11是示出可以实现根据本发明实施例的方法和装置的计算设备的示例性硬件架构的结构图；
图12是示出根据本发明实施例的分布式文件系统的结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本发明实施例中，云计算架构可以向用户提供分布式计算服务、分布式存储服务以及网络连接服务。在一个实施例中，云计算架构可以通过虚拟化技术将具有计算能力的虚拟机作为计算资源，将存储设备作为存储资源，以及将网络设备作为网络资源。
为了便于理解，图1示出了根据本发明实施例的云计算架构的框架示意图。如图1所示，在存储节点和计算节点分离的云计算架构中，云计算系统可以包括作为计算资源的计算集群、作为存储资源的块设备存储集群和快照中心存储集群、以及作为网络资源的网络设备。
如图1所示，计算集群的计算节点之间可以通过网络设备例如第一交换机进行连接，块设备存储集群的存储节点之间可以通过网络设备例如第二交换机进行连接，快照中心存储集群的快照存储节点之间可以通过网络设备例如第三交换机进行连接，第一交换机、第二交换机和第三交换机之间可以通过指定的网络设备例如第四交换机进行级联。
在本发明实施例中，集群可以用于描述以并行计算为核心的分布式系统。云计算平台可以通过运行在具有计算能力的机器设备上的虚拟机，为用户提供具有完整硬件系统功能的操作系统例如Windows操作系统、Linux操作系统等，并可以将虚拟机作为分配计算单元的单位，对虚拟机计算资源进行分配和管理。
在本发明实施例中，分布式文件系统可以为物理机或者虚拟机提供块存储服务，即提供访问块存储设备的接口。
在一个实施例中，块存储设备(如下可以简称为块设备)，是一种输入/输出设备，块设备中的信息被存储在固定大小的块中，每个块都有对应的地址。作为一个示例，在Linux操作系统中，块设备通常可以表示磁盘阵列、硬盘、虚拟硬盘等存储设备。
在一个实施例中，基于日志结构化存储方式的文件系统，可以将所有对文件系统的写操作缓存在内存中，当写入数据积累到一定数量时，将积累的数据一次性写入磁盘，与传统文件系统相比，基于日志结构的文件系统可以提高文件系统的写操作性能。
在本发明实施例中，日志结构块设备(Log Structured Block Device，LSBD)，是基于日志方式构建的块设备。该基于日志方式构建的块设备，具有只能追加写，不能覆盖写的存储特点。在下面实施例的描述中，日志结构块设备也可以称为基于日志结构的块存储设备或者日志块设备。
继续参考图1，快照中心存储集群的快照存储节点可以用于提供快照存储资源。在一个实施例中，快照可以用于获取已写入块存储设备的数据，对块存储设备中的数据进行增量备份。
通过图1可知，分布式系统可以利用多台计算机可以联网协同工作，例如通过虚拟机节点实现分布式计算，以及利用块设备存储节点和快照存储节点实现分布式存储。分布式文件系统的存储节点可以采用基于日志结构的块存储设备，将数据文件分布在不同的存储节点上。
为了更好地理解本发明，下面通过图2至图4详细描述本发明实施例的日志结构块设备。
图2示出了根据本发明实施例的分布式文件系统中日志结构块设备的结构示意图。如图2所示，分布式文件系统中，日志结构块设备可以基于分布式文件系统的日志文件实现，块设备存储节点和快照存储节点可以通过链接方式共享同一个日志结构文件。
在本发明实施例中，由于文件都可以包括相关联的元数据metadata和数据data，元数据用于记录文件的附加属性信息，例如文件大小、创建时间、数据块位置、所有者等信息等，而数据则用于记录文件的实际内容。在操作系统中，元数据中的inode号即索引节点号是文件的唯一标识，一个索引节点号可以对应多个文件名。
在一个实施例中，文件的硬链接(Hard Link)可以理解为是文件的一个或多个文件名。为了实现文件的共享使用，可以通过硬链接对同一个文件使用多个别名进行访问。
在该实施例中，一个文件的硬链接和该文件具有相同的索引节点号，也就是说，通过硬链接访问的文件和该文件是同一个文件，通过硬链接修改的文件，与该文件具有硬链接的所有文件都会被一起修改。
在本发明实施例中，块设备存储节点和快照存储节点可以通过文件的硬链接访问同一个日志结构文件。通过硬链接对文件进行访问时，对于同样的文件，只需要维护该文件的硬链接关系，而不需要对文件进行多重访问，从而节省存储设备的存储空间。
由图2可以看出，每一份日志结构文件可以有多个副本，每个副本可以保存在不同的存储节点上。当一个存储节点的数据丢失时，可以从其他该数据的副本上读到该数据。分布式文件系统可以通过副本(Replica)的方式来保证数据的安全性和可用性。
图3示出了根据本发明实施例的日志结构块设备的设备分段结构示意图。在一个实施例中，云盘作为一种将数据存储在云端的技术，可以利用云计算架构，通过日志结构块存储设备向用户提供分布式存储服务。
如图3所示，在日志结构块设备的云盘地址空间中，可以将日志结构块设备划分为多个设备段分组Segment Group，每个设备段分组可以包括多个设备分段Segment。
在本发明实施例中，日志结构块设备可以为分段结构，当设备分段的段基址确定后，根据设备分段的大小可以确定该设备分段的寻址范围，从而采用段基址和偏移地址的方式访问设备分段中的数据文件，大大缩短文件访问时间，提高文件访问效率。
在一个实施例中，大多数存储系统都对存储设备中数据文件的访问次数和数据传输率有限制。当达到这些限制时，后面需要访问存储设备的进程就需要等待，从而形成磁盘冲突。
继续参考图3，为了避免磁盘冲突，可以利用条带化技术，将一个设备段分组中的连续数据分割成多个数据块，并将这些数据块分别存储到不同的设备分段上，通过块服务器Block Server对数据块进行调度，从而将对数据输入/输出的负载均衡到多个设备分段，这样可以使多个进程同时访问数据的多个不同部分而不会造成磁盘冲突。
在一个实施例中，每个设备分段可以由一个块服务器Block Server进行管理和动态调度，一个块服务器可以管理和调度至少一个设备分段。
通过图3可知，在本发明实施例中，块存储设备可以被切分成多个设备分段，每个设备分段可以通过一个块服务器进行管理，有利于块存储设备达到输入/输出的负载均衡。
图4示出了根据本发明实施例的设备分段的数据写入流程示意图。如图4所示，日志结构块设备中的设备分段可以包括索引文件Index File、数据文件Data File和事务文件Txn File。其中，数据文件用于记录设备分段中的实际数据；索引映射可以用于表示设备分段中的逻辑地址区间到一个数据文件的映射，索引文件可以用于记录该逻辑地址空间和数据文件的物理地址区间的对应关系；事务文件用于记录对设备分段进行修改的事务日志。
如图4所示，在一个实施例中，在设备分段中写入数据可以包括：
步骤S01，获取指定数据，将指定数据写入设备分段的数据文件中。
步骤S02，利用设备分段的事务文件记录上述将指定数据写入设备分段的数据文件的事务日志。
步骤S03，更新索引文件，索引文件用于表征数据文件的逻辑地址空间和数据文件的物理地址区间之间的对应关系。
在一个实施例中，在索引映射中添加索引文件时，可以将索引文件存放在索引缓存中(Index Buffer)，为了提高索引缓存的利用率，以及加快索引文件传输到内存的传输速度，可以将索引文件进行压缩后传输到索引缓存。
通过上述实施例可知，在云计算架构的分布式文件系统中，可以使用日志块设备，为分布式系统中的虚拟机提供块存储服务。
由于块存储对存储的每秒读写操作的次数(Input/Output Operations PerSecond，IOPS)的要求比较高，一般会使用高性能存储设备例如固态硬盘(Solid StateDisk，SSD)作为底层存储介质。
作为一个示例，固态硬盘采用高性能的输入/输出控制芯片，耗电量低于传统普通硬盘，写入速度与传统普通硬盘相当，而读取速度是传统普通硬盘的3倍左右。
由于高性能存储设备相对于传统普通硬盘价格较高，运行维护成本较高。因此，减少日志块设备中的数据占用空间，有利于优化存储性能，提高数据存储效率，节约数据存储和维护的费用。
在本发明实施例中，可以通过重复数据删除(Deduplication)的方法，消除日志块设备中的冗余数据，以提高存储效率和利用率，减少数据传输过程中的网络带宽，有效节约设备采购与维护成本。
在一个实施例中，重复数据删除，也可以称为数据去重，包括在线重删(InlineDeduplication)和后处理重删(Post-Processing Deduplication)两种方式。其中，在线重删，可以理解为数据写入日志块设备之前进行重复数据删除；后处理重删，可以理解为先将数据写入日志块设备，需要进行重删时，将待删除数据读取到内存中进行重删处理，并将重删处理后的数据写入日志块设备中。
由于在线重删通常需要实时对日志块设备进行查重处理，为保证实时性，在线重删通常需要在内存中维护全部的数据索引并消耗大量的计算资源；而后处理重删将数据写入存储设备后，再根据需要检测重复内容和消除重复内容，对内存资源和计算资源的占用率较低。在对系统性能要求较高的情况下。
当采用后重删的数据去重方案时，涉及数据搬运(例如将待删除数据读取到内存中)，从而影响日志块设备的数据去重效率。
因此，本发明实施例提供一种在日志块设备的垃圾回收的过程中，对日志块设备进行数据去重的方法，以减少对CPU资源的占用，提高重复数据删除效率。优选地，本发明实施例的数据去重方案应用于后重删场景。但可以理解地，本发明实施例的数据去重方案也可以应用于在线重删场景，本发明对具体的应用场景不做限制。
在本发明实施例的分布式文件系统中，垃圾回收(Garbage Collection)用于释放设备分段中没有被应用的数据对象，释放内存空间，提高内存利用率。
为了便于理解，下面通过图5描述本发明实施例的垃圾回收工作流程。
图5示出了根据本发明实施例的存储设备的垃圾回收的工作流程示意图。如图5所示，元数据管理模块BlockMaster用于管理日志结构块设备中的元数据，设备读写管理模块BlockServer用于管理日志结构块设备中设备分段的输入输出，垃圾回收模块GCWorker，用于对日志结构块设备中的设备分段进行垃圾回收处理。
在一个实施例中，对进行垃圾回收处理，可以包括：
步骤S11，设备读写管理模块向元数据管理模块汇报日志结构块设备中的垃圾数据统计信息。
在该步骤中，对于日志结构块设备的设备分段包括数据文件和索引文件，索引文件用于记录设备分段中数据文件的逻辑地址和数据文件的物理地址的映射关系。
也就是说，设备分段可以通过索引文件引用该设备分段中实际存储的数据，即可以通过该索引文件中记录的逻辑地址，引用与该逻辑地址具有映射关系的物理地址实际存储的数据文件。
因此，设备分段中的有效数据为通过设备分段的索引文件引用的数据文件，设备分段中的垃圾数据为未通过索引文件引用的数据文件。
在该步骤中，垃圾数据的统计信息包括：日志结构块设备的每个设备分段中垃圾数据占用的存储空间大小、垃圾数据在设备分段中占用存储空间的比例等信息。
作为一个示例，根据日志结构块设备的设备分段的索引文件所记录的映射关系，可以确定该设备分段中的有效数据，以及有效数据占用的存储空间大小；利用该设备分段的存储空间大小和有效数据占用的存储空间大小，即可确定垃圾数据占用的存储空间大小、以及垃圾数据在设备分段中占用存储空间的比例。
当垃圾数据在设备分段中占用存储空间的比例超过垃圾比例阈值时，设备读写管理模块可以与向元数据管理模块汇报日志结构块设备中的垃圾数据统计信息。
步骤S12，元数据管理模块向垃圾回收模块发出数据回收请求，垃圾回收模块根据数据回收请求，去除日志结构块设备的设备分段中的垃圾数据，根据去除垃圾数据后的设备分段中的数据文件，生成新的索引文件和新的数据文件。
在该示例中，垃圾回收模块可以通过设备读写管理模块，通过读取设备分段中的事务文件，以用于记录对该设备分段进行数据处理文件时所做出的具体操作。
步骤S13，元数据管理模块向设备读写管理模块发出数据输入请求，设备读写管理模块根据该数据输入请求，删除设备分段中的原索引文件和原数据文件，接收新的索引文件和新的数据文件。
在该步骤中，设备读写管理模块可以将更新的事务文件，写入该设备分段，以对设备分段中的原事务文件进行更新。
在本发明实施例中，垃圾回收作为日志结构块设备的必要的工作流程，在日志结构块设备的垃圾回收过程中对主存储器的数据去重(Primary Dedup)等数据文件处理，基本不会增加日志块设备系统负载。
本发明实施例的数据文件的处理方法，可以在去除日志结构块设备的设备分段中的垃圾数据的过程中执行。为了更好的理解本发明，下面结合附图，详细描述在执行上述垃圾回收过程的步骤中，根据本发明实施例的数据文件的处理方法的具体流程。图6示出了根据本发明实施例的数据文件的处理方法的处理过程示意图。如图6所示，可以在日志块设备的垃圾回收过程中，对存储在日志块设备中的设备分段中的有效数据进行重复数据删除处理。
在一个实施例中，数据文件的处理方法可以包括：
步骤S110，获取日志块设备的设备分段中的有效数据，对该有效数据进行切块处理，得到设备分段中有效数据的数据块。
在一个实施例中，日志块设备可以包括多个设备分段，设备分段中包括索引文件和数据文件。根据索引文件记录的映射关系确定设备分段中的有效数据。
如图6所示，设备分段的逻辑区块地址(Logical Block Address，LBA)可以用于表示设备分段中某一数据块的地址，或某一地址所指向的数据块。作为一个示例，逻辑区块地址可以从0开始编号来定位区块，第一区块LBA＝0，第二区块LBA＝1，依此类推。
在一个实施例中，本发明实施例的数据文件的处理方法可以包括：
通过上述实施例可知，日志块设备可以被分为多个设备分段，对设备分段中的有效数据进行切块处理后，通过逻辑区块地址可以对每个数据块进行定位。
在一个实施例中，对有效数据进行切块处理可以使用变长切分方法或固定切分的方法。作为一个示例，变长切分(Content-defined Chunking)是可以基于内容确定数据块的边界，从而进行数据块切分，其中，数据块大小是可变化的。作为一个示例，固定切分(Fixed-Size Partition)是指从设备分段中有效数据的文件头部开始，按照预设的块长度值，对有效数据进行相同长度的切分，直到文件末尾。其中，最后一个数据块的长度可以小于预设块长度。
在本发明实施例中，由于变长切分较难确定数据块大小，数据粒度太细则系统开销大，数据粒度太粗则影响数据去重效果；而固定切分不需要检查数据内容以及判断数据块的边界，方法简单且性能高，占用较少的CPU资源。并且，数据块边界的计算过程需要一些时间，固定切分不需要计算数据块边界，从而降低系统开销，从一定程度减少系统延迟。
步骤S120，确定常用数据缓存中是否存在与设备分段中有效数据相匹配的常用数据文件。
在一个实施例中，步骤S120具体可以包括：
步骤S121，通过数据加密算法，计算设备分段中有效数据的数据块的指纹值。
在该步骤中，指纹值可以用于标识数据块的本质特征，根据数据块的内容进行指定的数据加密算法，以获得数据块的指纹值。
作为一个示例，数据加密算法可以是哈希算法。哈希算法也可以称为是散列算法，可以将任意长度的数据块输入，转化为固定长度的输出，该输出为输入数据块的散列值。也就是说，哈希算法是可将任意长度的数据块输入压缩成某一个固定长度的消息摘要的函数。
作为一个具体的示例，本发明实施例中使用的哈希算法例如可以包括信息-摘要算法5(Message-Digest Algorithm 5，MD5)、安全哈希算法1(Secure Hash Algorithm 1，SHA-1)算法等。
在一个实施例中，为了避免散列冲突，即不同数据块通过哈希算法而输出相同的散列值，对于设备分段中的数据块，可以结合不同的散列算法，计算数据块的散列值，通过该数据加密算法，不同内容的数据块具有不同的指纹值。
在一个实施例中，在分布式系统中预先设置缓存服务器，该缓存服务器作为指纹缓存，用于存储设备分段的数据块的指纹。作为一个示例，该缓存服务器可以是分布式系统中具有存储能力的计算机节点。
如图6所示，数据文件包括常用数据文件和非常用数据文件，常用数据文件为存储于常用数据缓存的数据文件，非常用数据文件为存储于存储设备的数据文件。
继续参考图6，指纹缓存包括常用数据指纹缓存和非常用数据指纹缓存。常用数据指纹缓存，用于存储常用数据文件中的数据块的指纹值，非常用数据指纹缓存，用于存储非常用数据文件中的数据块的指纹值。
作为一个示例，常用数据文件对应的数据中可以包括单位时间内被访问次数超过预设次数阈值的数据块对应的数据。作为一个示例，常用数据文件对应的数据中还可以包括按照单位时间内被访问次数由多到少进行排序后，被访问次数排序最多的前指定个数的数据块对应的数据。
需要说明的是，不同的应用场景中，常用数据文件对应的数据可以具有不同的判断依据，用户可以根据实际情况预先设置常用数据文件对应的数据的判断依据。
在本发明实施例中，设备分段中的至少预定数目个数据块对应的数据包含在相匹配的常用数据文件对应的数据中。该预定数目为大于等于1的数值。步骤S122，查找设备分段中有效数据的数据块的指纹值是否存在于常用数据指纹缓存。
通过上述实施例可知，常用数据缓存中的数据文件具有较高的被访问的频率。根据日志结构的块设备只能追加写，不能覆盖写的特性，常用数据缓冲中数据文件记录的数据内容与设备分段中的数据块记录的数据内容发生重复的几率较大。因此，利用常用数据缓存中的数据文件，对设备分段中数据块记录的数据，具有较高的去重效率。
步骤S130，如果存在相匹配的常用数据文件，建立执行该相匹配的常用数据文件的链接。
步骤S140，根据未包含在相匹配的常用数据文件对应的数据中的设备分段中的数据块，生成设备分段的新的数据文件。
在该步骤中，删除设备分段中重复的数据块，并将新的数据文件写入该设备分段，以达到对设备分段去重的目的。
在一个实施例中，可以在非常用数据指纹缓存中查找设备分段中有效数据对应的数据块的指纹值，如果非常用数据指纹缓存中包含该数据块的指纹值，确定非常用数据文件中存在与设备分段中数据文件相匹配的非常用数据文件。
在设备分段的数据文件中，如果只有少量数据块的指纹值存在于非常用数据指纹缓存中，说明该设备分段中只有少量数据块记录的数据内容，与普通数据文件的数据块记录的数据内容相同。
为了避免在设备分段中直接引用与设备分段中数据文件相匹配的非常用数据文件数量过于庞大，而造成的数据访问效率降低，在一个实施例中，当相匹配的非常用数据文件所包含的设备分段中的数据块的大小，在该相匹配的非常用数据文件的大小占比不小于预定比例，建立指向相匹配的非常用数据文件的链接。
作为一个示例，如果非常用数据文件为256M，如果与设备分段中数据文件相匹配的非常用数据文件，在该非常用数据文件中的存储空间占比达到或超过预设占比阈值例如4％(即该相匹配的非常用数据文件为256×4％＝10.24M)时，建立指向该相匹配的非常用数据文件的链接。
在一个实施例中，当与设备分段中数据文件相匹配的非常用数据文件的硬链接的数量大于等于链接次数阈值时，可以将该非常用数据文件移动到常用数据缓存中。
作为一个示例，非常用数据文件通过硬链接的方式被引用的数据总量达到链接次数阈值例如5次时，可以将该非常用数据文件识别为常用数据文件。
在本发明实施例中，为了避免通过硬链接引用的数据文件过大造成访问速度下降，本发明实施例中的常用数据文件或非常用数据文件不宜过大。
作为一个示例，常用数据文件的文件大小或非常用数据文件的文件大小可以设置为不超过64M；作为一个示例，在对主存储器内的数据去重处理时，常用数据文件或非常用数据文件中通过硬链接引用的数据的大小可设置为不超过4M。
继续参考图6，可以对设备分段中数据文件的数据块对应的数据采用预定压缩算法进行压缩，并根据压缩后的设备分段中的数据块，确定设备分段的新的数据文件。对设备分段中数据文件进行数据压缩处理，可以节省昂贵的高性能存储空间。
作为一个示例，假设块存储设备分段中的数据文件中包括6个数据块例如Block1、Block2、Block3、Block4、Block5和Block6。其中，Block1、Block2、Block3和Block4对应的数据为有效数据，Block5和Block6中记录的数据为垃圾数据。
在Block1、Block2、Block3和Block4中，Block1和Block2对应的数据包含在相匹配的常用数据文件对应的数据中。因此，可以将Block1和Block2称为设备分段中的重复数据。
作为一个示例，对于设备分段中的Block1，确定常用数据缓存中包含Block1对应的数据的相匹配的常用数据文件datafile1，建立指向datafile1链接。在设备分段中通过指向datafile1的硬链接，引用常用数据缓存中数据文件datafile1对应的数据。
在垃圾回收过程中，对于Block5和Block6，作为垃圾数据从设备分段中去除；对于Block1，在设备分段中通过指向包括Block1的常用数据文件的硬链接，引用常用数据缓存中包括Block1的常用数据文件中对应的数据；对于Block2，在设备分段中通过指向包括Block2的常用数据文件的硬链接，引用常用数据缓存中包括Block2的常用数据文件中对应的数据；对于Block3和Block4，进行压缩处理得到压缩数据文件，在垃圾回收结束后，将指向包括Block1的常用数据文件的硬链接、指向包括Block2的常用数据文件的硬链接、以及Block3和Block4压缩处理得到压缩数据文件写入设备分段，这样就回收了4个block(Block1、Block2、Block5和Block6)的存储空间。
在该实施例中，需要对设备分段的索引文件进行更新。
作为一个示例，假设索引文件中，0-4K的逻辑地址指向设备分段中的4K-8K物理地址，该4K-8K物理地址例如记录Block1对应的数据。如果常用数据缓存中存在与该设备分段相匹配的常用数据文件DataFile，Block1对应的数据包含在DataFile对应的数据中，且DataFile中对应的数据的物理地址例如为8K-12K。
建立常用数据缓存中该常用数据文件DataFile的硬链接，该硬链接文件的名字为DataFile2，将索引文件中0-4K的逻辑地址指向DataFile2中的8K-12K物理地址。此时，设备分段中的4K-8K物理地址记录的数据为垃圾数据，可以进行垃圾数据回收处理。而DataFile2共享了常用数据缓存中的常用数据文件中的对应数据，从而设备分段可以节省4K的空间。
在本发明实施例中，存储系统按照逻辑功能可以包括主存储(Primary Storage)和备份存储。主存储可以为云计算平台中的虚拟机提供存储资源。主存储可以基于文件系统将虚拟机磁盘作为文件进行存储，例如，主存储可以用于存放虚拟机磁盘。主存储也可以基于块存储将磁盘作为块设备。在本发明实施例中，可以用日志结构块设备实现主存储，并可以将用于存储虚拟机磁盘的存储设备称为是主存储器。
在日志结构块设备的垃圾回收过程中，对设备分段中的有效数据进行切块处理以得到数据块，计算数据块的指纹，实现主存储器中的数据在日志结构块设备中的去重处理，只消耗少量CPU计算指纹即可，基本不增加日志块设备系统负载，从而可以在重复数据删除过程中，减少CPU资源的占用，提高重复数据删除效率，降低对整理存储IO性能的影响。
在本发明实施例中，可以将设备分段中数据块的指纹值保存在分布式系统的多个指纹缓存中，其中，指纹缓存是在分布式文件系统中预先设置的。
在一个实施例中，如图6所示，垃圾回收过程中，可以删除根据保存周期列出的可以删除的备份文件，进一步优化主存储器的存储空间，提高主存储器的访问效率。
图7示出了根据本发明实施例的利用一致性哈希算法对数据块的指纹进行分布式存储的原理示意图。
如图7所示，在本发明实施例中，对于数据块中的数据Data，可以利用哈希函数(Hash Function)计算该数据块中的数据的关键字KEY，并利用分布式哈希映射表(Distributed Hash Table，DHT)，实现KEY到缓存服务器的Hash映射。
在一个实施例中，通过分布式哈希映射表实现分布式存储数据块的指纹值可以包括以下步骤：
步骤S31，构造一个0到2N的整数环，并计算缓存服务器所在节点的哈希值，将计算得到的哈希值标记在该整数环上。
在该步骤中，该整数环可以称为是一致性哈希环，一致性哈希环上的节点可以依次进行0-2N的编号，每个编号的节点可以代表一个缓存服务器。
步骤S32，根据需要缓存的指纹值的KEY，计算该KEY的哈希码值，该哈希码值可以是根据KEY的地址或者KEY的内容计算出来的整型类型的数值。
步骤S33，在构造的整数环上，按照指定方向查找距离该KEY的哈希码值在整数环上的位置距离最近的缓存服务器所在的节点。
在该实施例中，如果分布式系统中的缓存服务器增加，只需要将新加入的缓存服务器所在节点的哈希值，放置一致性哈希环中，由于数据块的指纹值的Key是按照指定方向查找距离最近的节点。因此，新加入的缓存服务器节点只影响环中的部分缓存服务器中的指纹值的分布。
在本发明实施例中，由于需要缓存的指纹值的KEY的哈希码值具有随机性，因此使用一致性哈希算法，可以保证数据块的指纹值在整个分布式系统的缓存服务器中较为均衡的分布，从而减轻了指纹值存储在单个缓存服务器时的数据访问压力和内容存储压力。
图8示出了根据本发明实施例的指纹哈希映射的结构示意图。如图8所示，在一个实施例中，在指纹哈希映射结构中，将每个指纹值的键值对的映射关系作为一个哈希节点，为每个哈希节点设置读写锁RWLock，通过读写锁降低对一致性哈希映射表进行读写访问时的读写冲突。
在本发明实施例中，可以同时一个哈希节点存储的指纹值进行读操作，但是对哈希节点的写操作必须是独占的。
在一个实施例中，当哈希节点的读写锁为读加锁状态，表示该哈希节点为读状态，此时允许对该哈希节点以读模式加读写锁，而不允许对该哈希节点以写模式加读写锁。也就是说，当要访问的哈希节点为读状态时，还可以对该哈希节点进行读操作，而不可以对该哈希节点进行写操作。
在一个实施例中，当哈希节点的读写锁为写加锁状态，表示该哈希节点为写状态，在该哈希节点的读写锁解锁之前，不允许对该哈希节点以读模式加读写锁，也不允许对该哈希节点以写模式加读写锁。也就是说，当要访问的哈希节点为写状态时，不可以对该哈希节点进行读操作，也不可以对该哈希节点进行写操作。
因此，访问哈希节点时，如果该哈希节点未处于写状态，可以在该哈希节点进行查找指纹值等读访问操作；如果该哈希节点处于读状态，可以在该哈希节点进行读操作，但不可以进行写操作；如果该哈希节点处于写状态，则不可以在该哈希节点进行读操作和写操作，该哈希节点的读写锁释放时，可以对该哈希节点再进行加读写锁的操作。
在一个实施例中，在哈希节点查找指纹值的过程可以包括：
步骤S41，通过一致性哈希运算，确定指纹值对应的哈希节点。
步骤S42，在哈希节点未处于写状态时，对哈希节点加读写锁，在该加读写锁的哈希节点中查找指纹值。
在该实施例中，通过在哈希节点加读写锁，降低对哈希节点读写访问时的冲突。
本发明实施例的数据文件的处理方法，可以日志结构块设备的垃圾数据回收过程中，基于日志结构块设备实现主存储器中的数据去重，整个过程不涉及数据搬移的性能损耗，从而减少CPU资源的占用，提高重复数据删除效率。
为了更好的理解本发明，下面将结合附图，详细描述根据本发明实施例的数据文件的处理方法。应注意，这些实施例并不是用来限制本发明公开的范围。
图9是示出根据本发明实施例的数据文件的处理方法的流程图。如图9所示，本发明实施例中的数据文件的处理方法200包括以下步骤：
步骤S210，对第一数据文件进行切块，得到第一数据文件的数据块。
在该步骤中，第一数据文件的数据块具有固定长度或者可变长度。
在一个实施例中，步骤S210可以包括：
步骤S211，根据第一数据文件对应的索引文件，确定第一数据文件的有效数据；
步骤S212，对第一数据文件的有效数据进行切块，得到第一数据文件的有效数据的数据块。
步骤S220，判断常用数据缓存中是否存在与第一数据文件相匹配的常用数据文件，第一数据文件的至少预定数目个数据块对应的数据包含在相匹配的常用数据文件对应的数据中。
在一个实施例中，步骤S220具体可以包括：
步骤S221，计算第一数据文件的数据块的指纹值。
在该步骤中，可以利用数据加密算法，计算第一数据文件中每个数据块对应的散列值，将散列值作为该每个数据块的指纹值。
步骤S222，查找第一数据文件的数据块的指纹值是否存在于常用数据指纹缓存，常用数据指纹缓存用于存储常用数据文件的数据块的指纹值。
在一个实施例中，可以将第一数据文件的数据块的指纹值存储至常用数据指纹缓存。具体地，该步骤具体可以包括：
利用一致性哈希运算，确定指纹值对应的哈希节点；
当哈希节点未处于写状态且未处于读状态时，将第二数据文件的数据块的指纹值存储至非常用数据指纹缓存。
在该步骤中，常用数据指纹缓存所存储的指纹值，被配置为通过一致性哈希运算分布于不同的哈希节点。
通过一致性哈希运算，可以将指纹值保存在分布式系统的多个缓存服务器的哈希节点上，以在分布式系统的多个缓存服务器节点上平衡数据块的指纹值的查询压力和内容存储压力。
在一个实施例中，步骤S222中，查找第一数据文件的数据块的指纹值是否存在于常用数据指纹缓存的步骤具体可以包括：
利用一致性哈希运算，确定指纹值对应的哈希节点。
哈希节点未处于写状态时，确定指纹值是否存在于哈希节点。
根据指纹值是否存在于哈希节点，确定第一数据文件的数据块的指纹值是否存在于常用数据指纹缓存。
在该实施例中，首先确定哈希节点是否处于写状态，当哈希节点未处于写状态时，对存储指纹指的哈希节点加读写锁；确定指纹值是否存在于该加读写锁后的哈希节点。
在该实施例中，通过设置读写锁，降低对分布式哈希表的读写访问冲突。
步骤S223，如果第一数据文件的数据块的指纹值存在于常用数据指纹缓存，根据查找到的指纹值，判断常用数据缓存中是否存在与第一数据文件相匹配的常用数据文件。
步骤S230，如果存在相匹配的常用数据文件，建立指向相匹配的常用数据文件的链接。
在一个实施例中，该指向相匹配的常用数据文件的链接为硬链接。
具体地，指向相匹配的常用数据文件的硬链接，可以视为是相匹配的常用数据文件的一个别名，在第一数据文件中不占用任何存储空间。
步骤S240，将未包含在相匹配的常用数据文件对应的数据中的第一数据文件的数据块写入第二数据文件，以替代第一数据文件。
在一个实施例中，步骤S240具体可以包括：
步骤S241，对第一数据文件的数据块对应的数据采用预定压缩算法进行压缩。
步骤S242，将压缩后的第一数据文件的数据块写入第二数据文件。
在一个实施例中，步骤S240之前，还可以包括：
判断是否存在与第一数据文件相匹配的非常用数据文件，相匹配的非常用数据文件所包含的第一数据文件的数据块在相匹配的非常用数据文件的大小占比不小于预定比例；
如果存在相匹配的非常用数据文件，建立指向相匹配的非常用数据文件的链接。
在一个实施例中，判断是否存在与第一数据文件相匹配的非常用数据文件的步骤，具体可以包括：
计算第一数据文件的数据块的指纹值；
查找第一数据文件的数据块的指纹值是否存在于非常用数据指纹缓存，非常用数据指纹缓存用于存储非常用数据文件的数据块的指纹值；
如果第一数据文件的数据块的指纹值存在于非常用数据指纹缓存，根据查找到的指纹值，判断是否存在与第一数据文件相匹配的非常用数据文件。
在一个实施例中，非常用数据指纹缓存所存储的指纹值，被配置为通过一致性哈希运算分布于不同的哈希节点。
在一个实施例中，查找第一数据文件的数据块的指纹值是否存在于非常用数据指纹缓存的步骤，具体可以包括：
利用一致性哈希运算，确定指纹值对应的哈希节点；
根据指纹值是否存在于哈希节点，确定第一数据文件的数据块的指纹值是否存在于非常用数据指纹缓存。
在一个实施例中，数据文件的处理方法200还可以包括：
步骤S250，如果存在相匹配的非常用数据文件和相匹配的常用数据文件，将第一数据文件中未包含在相匹配的常用数据文件对应数据的数据块，且未包含在相匹配的非常用数据文件对应数据的数据块写入第二数据文件；
步骤S260，如果存在相匹配的非常用数据文件，以及不存在相匹配的常用数据文件，将第一数据文件中未包含在相匹配的非常用数据文件对应数据的数据块写入第二数据文件。
在一个实施例中，数据文件的处理方法200还可以包括：
步骤S270，更新第二数据文件对应的索引文件，索引文件用于记录第二数据文件的逻辑地址和第二数据文件对应数据的物理地址之间的映射关系。
在一个实施例中，步骤S270具体可以包括：
步骤S271，根据包含在相匹配的常用数据文件对应的数据中的第一数据文件中的数据块对应的数据的逻辑地址，确定数据在第二数据文件对应的索引文件中的逻辑地址；
步骤S272，确定包含在相匹配的常用数据文件对应的数据中的第一数据文件的数据块对应的数据在指向相匹配的常用数据文件的链接文件中的物理地址；
步骤S273，建立数据在第二数据文件对应的索引文件中的逻辑地址与数据在指向相匹配的常用数据文件的链接文件中的物理地址之间的映射关系。
在一个实施例中，步骤S270具体还可以包括：
根据包含在相匹配的非常用数据文件对应的数据中的第一数据文件中的数据块对应的数据的逻辑地址，确定数据在第二数据文件对应的索引文件中的逻辑地址；
确定包含在相匹配的非常用数据文件对应的数据中的第一数据文件的数据块对应的数据，在指向相匹配的非常用数据文件的链接文件中的物理地址；
建立数据在第二数据文件对应的索引文件中的逻辑地址与数据在指向相匹配的非常用数据文件的链接文件中的物理地址之间的映射关系。
在一个实施例中，数据文件的处理方法200还可以包括：
步骤S280，将第二数据文件的数据块的指纹值存储至非常用数据指纹缓存。
在一个实施例中，步骤S280具体可以包括：
利用一致性哈希运算，确定指纹值对应的哈希节点；
当哈希节点未处于写状态且未处于读状态时，将第二数据文件的数据块的指纹值存储至非常用数据指纹缓存。
在上述实施例的描述中，数据文件可以为基于日志结构的数据文件，第一数据文件和第二数据文件可以对应于存储设备的不同设备分段。
根据本发明实施例的数据文件的处理方法，在日志块设备的垃圾回收过程中，对日志块设备中的有效数据切块以得到数据块，计算数据块的指纹，并利用热点数据去除日志块设备中的重复数据，整个过程中只消耗少量CPU计算指纹即可，对分布式存储系统性能影响非常小，数据去重效率高。
下面结合附图，详细介绍根据本发明实施例的数据文件的处理装置。
图10示出了根据本发明实施例提供的数据文件的处理装置的结构示意图。如图10所示，数据文件的处理装置300可以包括：
数据文件切分模块310，用于对第一数据文件进行切块，得到第一数据文件的数据块。
常用数据匹配判断模块320，用于判断常用数据缓存中是否存在与第一数据文件相匹配的常用数据文件，第一数据文件的至少预定数目个数据块对应的数据包含在相匹配的常用数据文件对应的数据中；
文件链接建立模块330，用于如果存在相匹配的常用数据文件，建立指向相匹配的常用数据文件的链接；
数据文件写入模块340，用于将未包含在相匹配的常用数据文件对应的数据中的第一数据文件的数据块写入第二数据文件，以替代第一数据文件。
在一个实施例中，数据文件切分模块310，包括：
有效数据确定单元，用于根据第一数据文件对应的索引文件，确定第一数据文件的有效数据；
有效数据切块单元，用于对第一数据文件的有效数据进行切块，得到第一数据文件的有效数据的数据块。
在一个实施例中，热点数据判断模块320具体可以包括：
第一指纹计算单元，用于计算第一数据文件的数据块的指纹值；
第一指纹查找单元，用于查找第一数据文件的数据块的指纹值是否存在于常用数据指纹缓存，常用数据指纹缓存用于存储常用数据文件的数据块的指纹值；
常用数据匹配判断模块320，还用于如果第一数据文件的数据块的指纹值存在于常用数据指纹缓存，根据查找到的指纹值，判断常用数据缓存中是否存在与第一数据文件相匹配的常用数据文件。
在一个实施例中，常用数据指纹缓存所存储的指纹值，被配置为通过一致性哈希运算分布于不同的哈希节点。在该实施例中，第一指纹查找单元，包括：
第一哈希节点确定子单元，用于利用一致性哈希运算，确定指纹值对应的哈希节点；
第一指纹查找单元，还用于根据指纹值是否存在于哈希节点，确定第一数据文件的数据块的指纹值是否存在于常用数据指纹缓存。
在该实施例中，第一指纹查找单元在具体用于根据指纹值是否存在于哈希节点，确定第一数据文件的数据块的指纹值是否存在于常用数据指纹缓存的步骤中，具体用于：
判断哈希节点是否处于写状态；
哈希节点未处于写状态时，确定指纹值是否存在于哈希节点；
根据指纹值是否存在于哈希节点，确定第一数据文件的数据块的指纹值是否存在于常用数据指纹缓存。
在一个实施例中，数据文件的处理装置300还可以包括：
非常用数据匹配判断模块，判断是否存在与第一数据文件相匹配的非常用数据文件，相匹配的非常用数据文件所包含的第一数据文件的数据块在相匹配的非常用数据文件的大小占比不小于预定比例；
文件链接建立模块330，还用于如果存在相匹配的非常用数据文件，建立指向相匹配的非常用数据文件的链接。
在一个实施例中，该链接为硬链接。
在一个实施例中，非常用数据匹配判断模块，具体可以包括：
第二指纹计算单元，用于计算第一数据文件的数据块的指纹值；
第二指纹查找单元，用于查找第一数据文件的数据块的指纹值是否存在于非常用数据指纹缓存，非常用数据指纹缓存用于存储非常用数据文件的数据块的指纹值；
非常用数据匹配判断模块，还用于如果第一数据文件的数据块的指纹值存在于非常用数据指纹缓存，根据查找到的指纹值，判断是否存在与第一数据文件相匹配的非常用数据文件。
在一个实施例中，非常用数据指纹缓存所存储的指纹值，被配置为通过一致性哈希运算分布于不同的哈希节点。在该实施例中，第二指纹查找单元，具体可以包括：
第二哈希节点确定子单元，用于利用一致性哈希运算，确定指纹值对应的哈希节点；
第二指纹查找单元，还用于根据指纹值是否存在于哈希节点，确定第一数据文件的数据块的指纹值是否存在于非常用数据指纹缓存。
在一个实施例中，数据文件的处理装置300还可以包括：
第一写入模块，用于如果存在相匹配的非常用数据文件和相匹配的常用数据文件，将第一数据文件中未包含在相匹配的常用数据文件对应数据的数据块，且未包含在相匹配的非常用数据文件对应数据的数据块写入第二数据文件；
第二写入模块，用于如果存在相匹配的非常用数据文件，以及不存在相匹配的常用数据文件，将第一数据文件中未包含在相匹配的非常用数据文件对应数据的数据块写入第二数据文件。
在一个实施例中，数据文件的处理装置300还可以包括：
索引文件更新模块，用于更新第二数据文件对应的索引文件，索引文件用于记录第二数据文件的逻辑地址和第二数据文件对应数据的物理地址之间的映射关系。
在一个实施例中，索引文件更新模块具体可以包括：
逻辑地址确定单元，用于根据包含在相匹配的常用数据文件对应的数据中的第一数据文件中的数据块对应的数据的逻辑地址，确定数据在第二数据文件对应的索引文件中的逻辑地址；
物理地址确定单元，用于确定包含在相匹配的常用数据文件对应的数据中的第一数据文件的数据块对应的数据在指向相匹配的常用数据文件的链接文件中的物理地址；
映射关系建立单元，用于建立数据在第二数据文件对应的索引文件中的逻辑地址与数据在指向相匹配的常用数据文件的链接文件中的物理地址之间的映射关系。
在一个实施例中，数据文件的处理装置300还可以包括：
指纹存储模块，用于将第二数据文件的数据块的指纹值存储至非常用数据指纹缓存。
文件移动模块，用于当指向非常用数据文件的链接数目大于等于链接数目阈值时，将非常用数据文件移动至常用数据缓存；
指纹移动模块，用于将非常用数据文件的数据块的指纹值移动至常用数据指纹缓存。
在一个实施例中，数据文件写入模块340，包括：
数据文件压缩单元，用于对第一数据文件的数据块对应的数据采用预定压缩算法进行压缩；
压缩文件写入单元，用于将压缩后的第一数据文件的数据块写入第二数据文件。
在本发明实施例中，第一数据文件的数据块具有固定长度或者可变长度。
在本发明实施例中，数据文件为基于日志结构的数据文件，第一数据文件和第二数据文件对应于存储设备的不同设备分段。
根据本发明实施例的数据文件的处理装置的其他细节与以上结合图1值图9描述的根据本发明实施例的数据文件的处理方法类似，在此不再赘述。
结合图1至图10描述的根据本发明实施例的数据文件的处理方法和装置可以由可拆卸地或者固定地安装在分布式系统中的计算设备实现。
图11是示出能够实现根据本发明实施例的数据文件的处理方法和装置的计算设备的示例性硬件架构的结构图。
如图11所示，计算设备400包括输入设备401、输入接口402、中央处理器403、存储器404、输出接口405、以及输出设备406。其中，输入接口402、中央处理器403、存储器404、以及输出接口405通过总线410相互连接，输入设备401和输出设备406分别通过输入接口402和输出接口405与总线410连接，进而与计算设备400的其他组件连接。具体地，输入设备401接收来自外部(例如，分布式系统中的输入设备)的输入信息，并通过输入接口402将输入信息传送到中央处理器403；中央处理器403基于存储器404中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器404中，然后通过输出接口405将输出信息传送到输出设备406；输出设备406将输出信息输出到计算设备400的外部供用户使用。
也就是说，图11所示的计算设备也可以被实现为一种数据文件的处理系统，该处理系统可以包括：存储有计算机可执行指令的存储器；以及处理器，该处理器在执行计算机可执行指令时可以实现结合图1至图10描述的数据文件的处理方法和装置。
图12是示出根据本发明实施例的分布式文件系统的结构示意图。如图12所示，在一个实施例中，分布式文件系统500可以包括：
块存储设备510，用于包括多个设备分段，每个设备分段包括数据文件和对应的索引文件；
设备读写管理模块520，用于向元数据管理模块发送块存储设备的设备分段中的垃圾数据统计信息、以及读取设备分段的数据文件和/或向设备分段写入数据文件；
元数据管理模块530，用于根据垃圾数据统计信息，向垃圾回收模块发送数据回收请求；
垃圾回收模块540，用于响应于数据回收请求，对块存储设备的设备分段进行数据回收，并在数据回收的过程中，对数据文件执行上述实施例描述的数据文件的处理方法。
在一个实施例中，第一数据文件为块存储设备的第一设备分段的数据文件，第二数据文件为块存储设备的第二设备分段的数据文件，
设备读写管理模块用于将第二数据文件的状态置于使用中，删除第一数据文件对应的索引文件和第一数据文件。
在本发明实施例中，在日志结构块设备的垃圾回收过程中实现存储设备的数据去重。在日志结构块设备的垃圾回收过程中，对有效数据切块，计算指纹，并去除日志结构块设备中存在的与常用数据缓存中的重复的数据，整个过程只消耗少量CPU计算指纹即可，对日志块存储系统影响非常小，从而大大减少存储系统的性能损耗。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品或计算机可读存储介质的形式实现。所述计算机程序产品或计算机可读存储介质包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (21)

1.一种数据文件的处理方法，包括：
对第一数据文件进行切块，得到所述第一数据文件的数据块；
判断常用数据缓存中是否存在与所述第一数据文件相匹配的常用数据文件，所述第一数据文件的至少预定数目个数据块对应的数据包含在所述相匹配的常用数据文件对应的数据中；
如果存在相匹配的常用数据文件，建立指向所述相匹配的常用数据文件的链接；
将未包含在所述相匹配的常用数据文件对应的数据中的第一数据文件的数据块写入第二数据文件，以替代所述第一数据文件。
2.根据权利要求1所述的数据文件的处理方法，所述判断常用数据缓存中是否存在于所述第一数据文件相匹配的常用数据文件，包括：
计算所述第一数据文件的数据块的指纹值；
查找所述第一数据文件的数据块的指纹值是否存在于常用数据指纹缓存，所述常用数据指纹缓存用于存储所述常用数据文件的数据块的指纹值；
如果所述第一数据文件的数据块的指纹值存在于所述常用数据指纹缓存，根据查找到的指纹值，判断所述常用数据缓存中是否存在与所述第一数据文件相匹配的常用数据文件。
3.根据权利要求1所述的数据文件的处理方法，其中，所述将未包含在所述相匹配的常用数据文件对应的数据中的所述第一数据文件的数据块写入第二数据文件之前，还包括：
判断是否存在与所述第一数据文件相匹配的非常用数据文件，所述相匹配的非常用数据文件所包含的第一数据文件的数据块在所述相匹配的非常用数据文件的大小占比不小于预定比例；
如果存在所述相匹配的非常用数据文件，建立指向所述相匹配的非常用数据文件的链接。
4.根据权利要求3所述的数据文件的处理方法，其中，所述判断是否存在与所述第一数据文件相匹配的非常用数据文件，包括：
计算所述第一数据文件的数据块的指纹值；
查找所述第一数据文件的数据块的指纹值是否存在于非常用数据指纹缓存，所述非常用数据指纹缓存用于存储所述非常用数据文件的数据块的指纹值；
如果所述第一数据文件的数据块的指纹值存在于非常用数据指纹缓存，根据查找到的指纹值，判断是否存在与所述第一数据文件相匹配的非常用数据文件。
5.根据权利要求3所述的数据文件的处理方法，还包括：
如果存在所述相匹配的非常用数据文件和所述相匹配的常用数据文件，将所述第一数据文件中未包含在所述相匹配的常用数据文件对应数据的数据块，且未包含在所述相匹配的非常用数据文件对应数据的数据块写入所述第二数据文件；
如果存在所述相匹配的非常用数据文件，以及不存在所述相匹配的常用数据文件，将所述第一数据文件中未包含在所述相匹配的非常用数据文件对应数据的数据块写入所述第二数据文件。
6.根据权利要求1所述的数据文件的处理方法，还包括：
更新所述第二数据文件对应的索引文件，所述索引文件用于记录所述第二数据文件的逻辑地址和所述第二数据文件对应数据的物理地址之间的映射关系。
7.根据权利要求6所述的数据文件的处理方法，其中，所述更新所述第二数据文件对应的索引文件，包括：
根据包含在所述相匹配的常用数据文件对应的数据中的第一数据文件中的数据块对应的数据的逻辑地址，确定所述数据在所述第二数据文件对应的索引文件中的逻辑地址；
确定包含在所述相匹配的常用数据文件对应的数据中的第一数据文件的数据块对应的数据在指向所述相匹配的常用数据文件的链接文件中的物理地址；
建立所述数据在所述第二数据文件对应的索引文件中的逻辑地址与所述数据在指向所述相匹配的常用数据文件的链接文件中的物理地址之间的映射关系。
8.根据权利要求1所述的数据文件的处理方法，还包括：
将所述第二数据文件的数据块的指纹值存储至非常用数据指纹缓存。
9.根据权利要求3所述的数据文件的处理方法，还包括：
当指向非常用数据文件的链接数目大于等于链接数目阈值时，将所述非常用数据文件移动至所述常用数据缓存；
将所述非常用数据文件的数据块的指纹值移动至所述常用数据指纹缓存。
10.根据权利要求2所述的数据文件的处理方法，其中，
所述常用数据指纹缓存所存储的指纹值，被配置为通过一致性哈希运算分布于不同的哈希节点；
所述查找所述第一数据文件的数据块的指纹值是否存在于常用数据指纹缓存，包括：
利用一致性哈希运算，确定所述指纹值对应的哈希节点；
根据所述指纹值是否存在于所述哈希节点，确定所述第一数据文件的数据块的指纹值是否存在于所述常用数据指纹缓存。
11.根据权利要求10所述的数据文件的处理方法，所述根据所述指纹值是否存在于所述哈希节点，确定所述第一数据文件的数据块的指纹值是否存在于所述常用数据指纹缓存，包括：
判断所述哈希节点是否处于写状态；
所述哈希节点未处于写状态时，确定所述指纹值是否存在于所述哈希节点；
根据所述指纹值是否存在于所述哈希节点，确定所述第一数据文件的数据块的指纹值是否存在于所述常用数据指纹缓存。
12.根据权利要求1所述的数据文件的处理方法，其中，所述对第一数据文件进行切块，得到所述第一数据文件的数据块，包括：
根据所述第一数据文件对应的索引文件，确定所述第一数据文件的有效数据；
对所述第一数据文件的有效数据进行切块，得到所述第一数据文件的有效数据的数据块。
13.根据权利要求1所述的数据文件的处理方法，其中，所述将未包含在所述相匹配的常用数据文件对应的数据中的第一数据文件的数据块写入第二数据文件，包括：
对所述第一数据文件的数据块对应的数据采用预定压缩算法进行压缩；
将压缩后的所述第一数据文件的数据块写入所述第二数据文件。
14.根据权利要求1所述的数据文件的处理方法，其中，
所述第一数据文件的数据块具有固定长度或者可变长度。
15.根据权利要求1所述的数据文件的处理方法，其中，
所述链接为硬链接。
16.根据权利要求1所述的数据文件的处理方法，其中，
所述数据文件为基于日志结构的数据文件，所述第一数据文件和所述第二数据文件对应于存储设备的不同设备分段。
17.一种数据文件的处理装置，包括：
数据文件切块模块，用于对第一数据文件进行切块，得到所述第一数据文件的数据块；
常用数据匹配判断模块，用于判断常用数据缓存中是否存在与所述第一数据文件相匹配的常用数据文件，所述第一数据文件的至少预定数目个数据块对应的数据包含在所述相匹配的常用数据文件对应的数据中；
文件链接建立模块，用于如果存在相匹配的常用数据文件，建立指向所述相匹配的常用数据文件的链接；
数据文件写入模块，用于将未包含在所述相匹配的常用数据文件对应的数据中的第一数据文件的数据块写入第二数据文件，以替代所述第一数据文件。
18.一种分布式文件系统，包括：
块存储设备，包括多个设备分段，每个设备分段包括数据文件和对应的索引文件；
设备读写管理模块，用于向元数据管理模块发送所述块存储设备的设备分段中的垃圾数据统计信息、以及读取设备分段的数据文件和/或向设备分段写入数据文件；
元数据管理模块，用于根据所述垃圾数据统计信息，向所述垃圾回收模块发送数据回收请求；
数据回收模块，用于响应于所述数据回收请求，对所述块存储设备的设备分段进行数据回收，并在所述数据回收的过程中，对所述数据文件执行权利要求1-16任一项所述的数据文件的处理方法。
19.根据权利要求18所述的分布式文件系统，其中，
所述第一数据文件为块存储设备的第一设备分段的数据文件，所述第二数据文件为块存储设备的第二设备分段的数据文件，
所述设备读写管理模块用于将第二数据文件的状态置于使用中，删除所述第一数据文件对应的索引文件和所述第一数据文件。
20.一种数据文件的处理系统，其特征在于，包括存储器和处理器；
所述存储器用于储存有可执行程序代码；
所述处理器用于读取所述存储器中存储的可执行程序代码以执行权利要求1至16中任一项所述的数据文件的处理方法。
21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1-16中任意一项所述的数据文件的处理方法。
CN201811074947.1A 2018-09-14 2018-09-14 数据文件的处理方法、装置、系统和存储介质 Active CN110908589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811074947.1A CN110908589B (zh) 2018-09-14 2018-09-14 数据文件的处理方法、装置、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811074947.1A CN110908589B (zh) 2018-09-14 2018-09-14 数据文件的处理方法、装置、系统和存储介质

Publications (2)

Publication Number Publication Date
CN110908589A true CN110908589A (zh) 2020-03-24
CN110908589B CN110908589B (zh) 2023-06-27

Family

ID=69813262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811074947.1A Active CN110908589B (zh) 2018-09-14 2018-09-14 数据文件的处理方法、装置、系统和存储介质

Country Status (1)

Country Link
CN (1) CN110908589B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111737206A (zh) * 2020-06-06 2020-10-02 苏州浪潮智能科技有限公司 一种文件重删处理方法、系统、终端及存储介质
CN112131194A (zh) * 2020-09-24 2020-12-25 上海摩勤智能技术有限公司 一种只读文件系统的文件存储控制方法及装置、存储介质
CN114449628A (zh) * 2021-12-30 2022-05-06 荣耀终端有限公司 日志数据处理方法、电子设备及其介质
CN114780489A (zh) * 2022-06-17 2022-07-22 苏州思萃工业互联网技术研究所有限公司 一种实现分布式块存储底层gc的方法及装置
WO2023000915A1 (en) * 2021-07-21 2023-01-26 Huawei Technologies Co., Ltd. Method and apparatus for replicating a target file between devices
WO2023093091A1 (zh) * 2021-11-25 2023-06-01 华为技术有限公司 数据存储系统、智能网卡及计算节点

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103139300A (zh) * 2013-02-05 2013-06-05 杭州电子科技大学 一种基于重复数据删除的虚拟机镜像管理的优化方法
CN103177111A (zh) * 2013-03-29 2013-06-26 西安理工大学 重复数据删除系统及其删除方法
CN103714123A (zh) * 2013-12-06 2014-04-09 西安工程大学 企业云存储分块对象重复数据删除和重组版本控制方法
CN104932841A (zh) * 2015-06-17 2015-09-23 南京邮电大学 一种云存储系统中节约型重复数据删除方法
US9189414B1 (en) * 2013-09-26 2015-11-17 Emc Corporation File indexing using an exclusion list of a deduplicated cache system of a storage system
CN106610790A (zh) * 2015-10-26 2017-05-03 华为技术有限公司 一种重复数据删除方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103139300A (zh) * 2013-02-05 2013-06-05 杭州电子科技大学 一种基于重复数据删除的虚拟机镜像管理的优化方法
CN103177111A (zh) * 2013-03-29 2013-06-26 西安理工大学 重复数据删除系统及其删除方法
US9189414B1 (en) * 2013-09-26 2015-11-17 Emc Corporation File indexing using an exclusion list of a deduplicated cache system of a storage system
CN103714123A (zh) * 2013-12-06 2014-04-09 西安工程大学 企业云存储分块对象重复数据删除和重组版本控制方法
CN104932841A (zh) * 2015-06-17 2015-09-23 南京邮电大学 一种云存储系统中节约型重复数据删除方法
CN106610790A (zh) * 2015-10-26 2017-05-03 华为技术有限公司 一种重复数据删除方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"\"Using blocks to get more blocks: Exploring linked data through integration of queries and result sets in block programming\"" *
李锋;陆婷婷;郭建华;: "一种基于重复数据删除的镜像文件存储方法研究" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111737206A (zh) * 2020-06-06 2020-10-02 苏州浪潮智能科技有限公司 一种文件重删处理方法、系统、终端及存储介质
CN111737206B (zh) * 2020-06-06 2023-01-10 苏州浪潮智能科技有限公司 一种文件重删处理方法、系统、终端及存储介质
CN112131194A (zh) * 2020-09-24 2020-12-25 上海摩勤智能技术有限公司 一种只读文件系统的文件存储控制方法及装置、存储介质
WO2023000915A1 (en) * 2021-07-21 2023-01-26 Huawei Technologies Co., Ltd. Method and apparatus for replicating a target file between devices
WO2023093091A1 (zh) * 2021-11-25 2023-06-01 华为技术有限公司 数据存储系统、智能网卡及计算节点
CN114449628A (zh) * 2021-12-30 2022-05-06 荣耀终端有限公司 日志数据处理方法、电子设备及其介质
CN114449628B (zh) * 2021-12-30 2023-01-06 荣耀终端有限公司 日志数据处理方法、电子设备及其介质
CN114780489A (zh) * 2022-06-17 2022-07-22 苏州思萃工业互联网技术研究所有限公司 一种实现分布式块存储底层gc的方法及装置

Also Published As

Publication number Publication date
CN110908589B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
CN110908589B (zh) 数据文件的处理方法、装置、系统和存储介质
US11797510B2 (en) Key-value store and file system integration
US10719253B2 (en) Efficient compression of data in storage systems through offloading computation to storage devices
JP5732536B2 (ja) 重複排除に基づくストレージシステムにおけるスケーラブル参照管理のためのシステム、方法及び非一時的なコンピュータ可読ストレージ媒体
US10031675B1 (en) Method and system for tiering data
US20230013281A1 (en) Storage space optimization in a system with varying data redundancy schemes
US10169365B2 (en) Multiple deduplication domains in network storage system
US8370315B1 (en) System and method for high performance deduplication indexing
US10303797B1 (en) Clustering files in deduplication systems
US20160179581A1 (en) Content-aware task assignment in distributed computing systems using de-duplicating cache
US9507800B2 (en) Data management in distributed file systems
US9251160B1 (en) Data transfer between dissimilar deduplication systems
CN107209714B (zh) 分布式存储系统及分布式存储系统的控制方法
US10339112B1 (en) Restoring data in deduplicated storage
US9928210B1 (en) Constrained backup image defragmentation optimization within deduplication system
US9785646B2 (en) Data file handling in a network environment and independent file server
US11580162B2 (en) Key value append
US10108644B1 (en) Method for minimizing storage requirements on fast/expensive arrays for data mobility and migration
WO2017020576A1 (zh) 一种键值存储系统中文件压实的方法和装置
US10242021B2 (en) Storing data deduplication metadata in a grid of processors
US10789228B2 (en) Data presence/absence determination apparatus and computer-readable storage medium storing program for determination of data presence/absence
US11372576B2 (en) Data processing apparatus, non-transitory computer-readable storage medium, and data processing method
JP6807395B2 (ja) プロセッサ・グリッド内の分散データ重複排除
CN108415671B (zh) 一种面向绿色云计算的重复数据删除方法及系统
CN113535670B (zh) 一种虚拟化资源镜像存储系统及其实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231129

Address after: Room 1-2-A06, Yungu Park, No. 1008 Dengcai Street, Sandun Town, Xihu District, Hangzhou City, Zhejiang Province

Patentee after: Aliyun Computing Co.,Ltd.

Address before: Grand Cayman, Cayman Islands

Patentee before: ALIBABA GROUP HOLDING Ltd.