CN113342274B - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN113342274B
CN113342274B CN202110647243.4A CN202110647243A CN113342274B CN 113342274 B CN113342274 B CN 113342274B CN 202110647243 A CN202110647243 A CN 202110647243A CN 113342274 B CN113342274 B CN 113342274B
Authority
CN
China
Prior art keywords
merging
data
task
function
storage system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110647243.4A
Other languages
English (en)
Other versions
CN113342274A (zh
Inventor
郭宽宽
林源劲
赵明
陈常龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Volcano Engine Technology Co Ltd
Original Assignee
Beijing Volcano Engine Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Volcano Engine Technology Co Ltd filed Critical Beijing Volcano Engine Technology Co Ltd
Priority to CN202110647243.4A priority Critical patent/CN113342274B/zh
Publication of CN113342274A publication Critical patent/CN113342274A/zh
Application granted granted Critical
Publication of CN113342274B publication Critical patent/CN113342274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种数据处理方法及装置，数据存储技术领域。该方法包括：选取待执行的合并任务，所述合并任务用于对LSM树存储的至少两个数据块进行合并；判断所述数据存储系统的计算资源占用率是否小于阈值占用率；若计算资源占用率大于或等于所述阈值占用率，则将所述合并任务发送至功能即服务装置，并接收所述功能即服务装置发送的合并数据块；其中，所述合并数据块为合并所述至少两个数据块生成的数据块；将所述合并数据块写入所述LSM树，并将所述至少两个数据块从所述LSM树中删除。本发明实施例用于避免LSM树形态调整影响数据存储系统的性能。

Description

一种数据处理方法及装置
技术领域
本发明涉及数据存储技术领域，尤其涉及一种数据处理方法及装置。
背景技术
日志结构合并树（Log-Structured Merge-Tree，LSM树）是一种基于硬盘的数据存储结构，其主要工作原理为：将数据分层存储，当进行更新数据的写入时，先将更新数据以日志的方式写入LSM树的最上层中，并在满足合并（Compaction）条件时，使用归并排序的方式对LSM树存储的数据合并。由于LSM树无需每一次有更新数据需要写入时就进行随机写入，因此LSM树能够降低磁盘的寻道次数，进而改善持久化存储的性能，非常其适用于随机写入的情况。
对LSM树存储的文件进行合并，又称为LSM树形态调整。通过对LSM树存储的数据进行合并，可以减少无效数据，进而减少LSM树存储的数据量，提高存储效率。然而，由于对LSM树存储的数据进行合并的过程中需要消耗大量的计算资源，因此LSM树形态调整可能会影响数据存储系统的性能。
发明内容
有鉴于此，本发明提供了一种数据处理方法及装置，用于避免LSM树形态调整影响数据存储系统的性能。
为了实现上述目的，本发明实施例提供技术方案如下：
第一方面，本发明的实施例提供了一种数据处理方法，应用于数据存储系统，所述方法包括：
选取待执行的合并任务，所述合并任务用于对LSM树存储的至少两个数据块进行合并；
判断所述数据存储系统的计算资源占用率是否小于阈值占用率；
若所述计算资源占用率大于或等于所述阈值占用率，则将所述合并任务发送至功能即服务装置，并接收所述功能即服务装置发送的合并数据块；其中，所述合并数据块为合并所述至少两个数据块生成的数据块；
将所述合并数据块写入所述LSM树，并将所述至少两个数据块从所述LSM树中删除。
作为本发明实施例一种可选的实施方式，所述将所述合并任务发送至功能即服务装置，并接收所述功能即服务装置返回的合并数据块，包括：
向所述功能即服务装置发送用于执行所述合并任务的请求信息，并接收所述功能即服务装置中用于执行所述合并任务的功能即服务容器标识；
将所述合并任务的任务信息发送至所述功能即服务容器，所述任务信息携带有所述至少两个数据块中各数据块的标识；
接收所述功能即服务容器发送的用于请求读取所述至少两个数据块的数据读取请求，并向所述功能即服务容器发送所述至少两个数据块；
接收所述功能即服务容器发送的所述合并数据块。
作为本发明实施例一种可选的实施方式，所述方法还包括：
若所述计算资源占用率小于所述阈值占用率，则基于所述数据存储系统的计算资源执行所述合并任务。
作为本发明实施例一种可选的实施方式，所述基于所述数据存储系统的计算资源执行所述合并任务，包括：
从所述LSM树中读取所述至少两个数据块；
基于所述数据存储系统的计算资源对所述至少两个数据块进行合并，生成合并数据块。
作为本发明实施例一种可选的实施方式，在选取待执行的合并任务之前，所述方法还包括：
从所述LSM树存储的文件中确定至少一个待合并文件组，所述待合并文件组包括至少两个需要进行合并的文件；
确定各所述待合并文件组内的至少一个文件中需要参与合并的目标文件片段；
根据各个待合并文件组对应的目标文件片段，生成各个待合并文件组对应的合并任务；
所述选取待执行的合并任务，包括：
在各个待合并文件组对应的合并任务中选取待执行的合并任务。
第二方面，本发明实施例提供一种数据处理方法，应用于功能即服务装置，所述方法包括：
接收数据存储系统发送的用于执行合并任务的请求信息，所述合并任务用于对日志结构合并LSM树存储的至少两个数据块进行合并；
执行所述合并任务，生成合并数据块，所述合并数据块为合并所述至少两个数据块生成的数据块；
向所述数据存储系统发送所述合并数据块。
作为本发明实施例一种可选的实施方式，所述执行所述合并任务，生成合并数据块，包括：
创建用于执行所述合并任务的功能即服务容器；
向所述数据存储系统发送所述功能即服务容器的标识；
通过所述功能即服务容器接收所述数据存储系统发送的所述合并任务对应的任务信息，所述任务信息携带有所述合并任务所要合并的至少两个数据块的标识；
通过所述功能即服务容器向所述数据存储系统发送用于请求获取所述至少两个数据块的数据读取请求，并接收所述数据存储系统发送的所述至少两个数据块；
通过所述功能即服务容器对所述至少两个数据块进行合并，生成所述合并数据快。
作为本发明实施例一种可选的实施方式，在通过所述功能即服务容器将所述合并数据快发送至所述数据存储系统之后，注销所述功能即服务容器。
第三方面，本发明实施例提供一种数据存储系统，包括：
选取单元，用于选取待执行的合并任务，所述合并任务用于对日志结构合并LSM树存储的至少两个数据块进行合并；
处理单元，用于判断所述数据存储系统的计算资源占用率是否小于阈值占用率；
合并单元，在所述计算资源占用率大于或等于所述阈值占用率的情况下，将所述合并任务发送至功能即服务装置，并接收所述功能即服务装置返回的合并数据块；其中，所述合并数据块为合并所述至少两个数据块生成的数据块；
读写单元，用于将所述合并数据块写入所述LSM树，并将所述至少两个数据块从所述LSM树中删除。
作为本发明实施例一种可选的实施方式，所述合并单元，具体用于向所述功能即服务装置发送用于执行所述合并任务的请求信息，并接收所述功能即服务装置中用于执行所述合并任务的功能即服务容器标识；将所述合并任务的任务信息发送至所述功能即服务容器，所述任务信息携带有所述至少两个数据块中各数据块的标识；接收所述功能即服务容器发送的用于请求读取所述至少两个数据块的数据读取请求，并向所述功能即服务容器发送所述至少两个数据块；接收所述功能即服务容器发送的所述合并数据块。
作为本发明实施例一种可选的实施方式，所述合并单元，还用于在所述计算资源占用率小于所述阈值占用率的情况下，基于所述数据存储系统的计算资源执行所述合并任务。
作为本发明实施例一种可选的实施方式，所述合并单元，具体用于从所述LSM树中读取所述至少两个数据块；基于所述数据存储系统的计算资源对所述至少两个数据块进行合并，生成合并数据块。
作为本发明实施例一种可选的实施方式，所述处理单元，还用于在选取待执行的合并任务之前，从所述LSM树存储的文件中确定至少一个待合并文件组，所述待合并文件组包括至少两个需要进行合并的文件；确定各所述待合并文件组内的至少一个文件中需要参与合并的目标文件片段；根据各个待合并文件组对应的目标文件片段，生成各个待合并文件组对应的合并任务；
所述选取单元，具体用于在各个待合并文件组对应的合并任务中选取待执行的合并任务。
第四方面，本发明实施例提供一种功能即服务装置，包括：
接收单元，用于接收数据存储系统发送的用于执行合并任务的请求信息，所述合并任务用于对日志结构合并LSM树存储的至少两个数据块进行合并；
执行单元，用于执行所述合并任务，生成合并数据块，所述合并数据块为合并所述至少两个数据块生成的数据块；
发送单元，用于向所述数据存储系统发送所述合并数据块。
作为本发明实施例一种可选的实施方式，所述执行单元，具体用于创建用于执行所述合并任务的功能即服务容器；向所述数据存储系统发送所述功能即服务容器的标识；通过所述功能即服务容器接收所述数据存储系统发送的所述合并任务对应的任务信息，所述任务信息携带有所述合并任务所要合并的至少两个数据块的标识；通过所述功能即服务容器向所述数据存储系统发送用于请求获取所述至少两个数据块的数据读取请求，并接收所述数据存储系统发送的所述至少两个数据块；通过所述功能即服务容器对所述至少两个数据块进行合并，生成所述合并数据快。
作为本发明实施例一种可选的实施方式，所述功能即服务装置还包括：
注销单元，用于在通过所述功能即服务容器将所述合并数据快发送至所述数据存储系统之后，注销所述功能即服务容器。
第五方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在调用计算机程序时，使得所述电子设备实现第一方面或第一方面任一种可选的实施方式或第二方面或第二方面任一种可选的实施方式所述的数据处理方法。
第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现第一方面或第一方面任一种可选的实施方式或第二方面或第二方面任一种可选的实施方式所述的数据处理方法。
第七方面，本发明实施例提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机实现第一方面或第一方面任一种可选的实施方式或第二方面或第二方面任一种可选的实施方式所述的数据处理方法。
本发明实施例提供的数据处理方法在选取待执行的合并任务时，首先判断所述数据存储系统的计算资源占用率是否小于阈值占用率，若所述数据存储系统的计算资源占用率大于或等于所述阈值占用率，则将所述合并任务发送至功能即服务装置，并接收功能即服务装置发送的合并所述至少两个数据块生成的合并数据块，以及将所述合并数据块写入所述LSM树，并将所述至少两个数据块从所述LSM树中删除。由于在所述数据存储系统的计算资源占用率大于或等于所述阈值占用率的情况下，数据存储系统会通过功能即服务装置执行所述合并任务，使用网络资源换取计算资源，从而避免对数据存储系统的性能造成影响，因此本发明实施例可以避免LSM树形态调整影响数据存储系统的性能。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的执行数据处理方法的系统的架构图；
图2为本发明实施例提供的数据处理方法的步骤流程图之一；
图3为本发明实施例提供的数据处理方法的步骤流程图之二；
图4为本发明实施例提供的数据处理方法的交互流程图；
图5为本发明实施例提供的数据存储系统的结构图示意图；
图6为本发明实施例提供的功能即服务装置的结构示意图之一；
图7为本发明实施例提供的功能即服务装置的结构示意图之二；
图8为本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面将对本发明的方案进行进一步描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但本发明还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本发明的一部分实施例，而不是全部的实施例。
在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。此外，在本发明实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。
以下首先对实现本发明实施例提供的数据处理方法的系统架构进行说明。
示例性的，参照图1所示，本发明实施例提供的数据处理方法的系统架构包括：数据存储系统11和功能即服务（Function as a Service，FaaS）装置12。
其中，所述数据存储系统11与所述功能即服务装置12之间建立有能够进行数据传输的网络链接。所述数据存储系统11包括：后台任务管理器（Background Task Manager）111、LSM树112以及CPU 113。所述后台任务管理器111用于在每一次将数据写入LSM树后，检测LSM树112是否需要进行形态调整，在LSM树112需要进行形态调整时生成合并任务，并判断数据存储系统11的CPU 113的占用情况。在CPU 113的占用率未达到阈值占用率的情况下，通过CPU 113执行选取的合并任务，在CPU 113的占用率超过阈值占用率的情况下，后台任务管理器111将选取的合并任务发送至功能即服务装置12执行。功能即服务装置12在收到请求执行合并任务的请求信息时，创建用于执行合并任务的功能即服务容器121，并向数据存储系统11发送该功能即服务容器121的标识，然后通过该功能即服务容器读取合并任务所要合并的数据块进行数据合并，并将合并得到的合并数据块返回数据存储系统11，最后数据存储系统11再将功能即服务装置返回的合并数据块写入LSM树112以及将合并前的数据块删除。
在上述内容的基础上，本发明实施例提供了一种应用于数据存储系统的数据处理方法，参照图2所示，该数据处理方法包括如下步骤：
S201、选取待执行的合并（Compaction）任务。
其中，所述合并任务用于对LSM树存储的至少两个数据块进行合并。
具体的，数据存储系统在每一次将数据写入LSM树时，都会检测LSM树是否需要进行形态调整（否是需要对LSM树存储的文件进行合并），在确定LSM树满足形态调整条件的情况下，生成至少一个合并任务，并基于合并任务的垃圾占比和/或合并任务对LSM树形态的影响力选取一个合并任务作为待执行的合并任务。例如：选取合并任务中垃圾占比最高的合并任务。
进一步的，LSM树的形态调整条件可以为内存中保存的数据量达到预设值的阈值数据量或者LSM树的某一层次的数据量达到预设值的阈值数据量。
可选的，所述至少两个数据块中的每一个数据块分别为一个文件。
即，合并任务以文件为最小粒度，各合并任务均用于对LSM树存储的至少两个文件进行合并。
具体的，数据存储系统在对文件进行存储时，仅记录文件的起始位置和偏移量，当确定需要对某些文件进行合并时，根据这些文件的起始位置和偏移量完整的从数据存储系统的LSM树中读取这些文件，然后执行合并操作。
S202、判断所述数据存储系统的计算资源占用率是否小于阈值占用率。
示例性的，阈值占用率可以为80%、90%等，本发明实施例中对阈值占用率不作限定。
在上述步骤S202中，若所述数据存储系统的计算资源占用率大于或等于所述阈值占用率，则执行如下步骤S203。
S203、将所述合并任务发送至功能即服务装置，并接收所述功能即服务装置发送的合并数据块。
对应的，功能即服务装置接收数据存储系统发送的请求信息，执行所述合并任务，生成合并数据块，以及向所述数据存储系统发送所述合并数据块。
其中，所述合并数据块为合并所述至少两个数据块生成的数据块。
即，若所述数据存储系统的计算资源占用率大于或等于所述阈值占用率，则通过网络资源换取计算资源，通过功能即服务装置执行所述合并任务（将合并任务发送至功能即服务装置，并接收功能即服务装置发送的合并结果）。
作为本发明实施例一种可选的实施方式，上述步骤S203（将所述合并任务发送至功能即服务装置，并接收所述功能即服务装置发送的合并数据块）的实现方式可以包括如下步骤1至步骤6：
步骤1、向所述功能即服务装置发送用于执行所述合并任务的请求信息。
示例性的，所述请求信息还可以携带有所述合并任务需要的计算资源量，以便功能即服务装置根据所述合并任务需要的计算资源量为所述合并任务分配计算资源。
步骤2、接收所述功能即服务装置中用于执行所述合并任务的功能即服务容器标识。
即，功能即服务装置在接收到数据存储系统发送的用于请求功能即服务装置执行所述合并任务的请求信息后，为所述合并任务分配计算资源、创建功能即服务容器以及将创建的功能即服务容器的标识发送至数据存储系统。
步骤3、将所述合并任务的任务信息发送至所述功能即服务容器。
其中，所述任务信息携带有所述至少两个数据块中各数据块的标识。
步骤4、接收所述功能即服务容器发送的用于请求获取所述至少两个数据块的数据读取请求。
步骤5、向所述功能即服务容器发送所述至少两个数据块。
即，将需要合并的数据块发送至功能即服务容器。
步骤6、接收所述功能即服务容器发送的所述合并数据块。
在上述步骤S202中，若所述数据存储系统的计算资源占用率小于所述阈值占用率，则执行如下步骤S204。
S204、基于所述数据存储系统的计算资源执行所述合并任务。
由于在数据存储系统的计算资源占用率小于所述阈值占用率的情况下，所述数据存储系统的本地计算资源空闲量较多，在本地执行合并任务也不会对数据存储系统的性能造成影响，因此在数据存储系统的计算资源占用率小于所述阈值占用率的情况下，基于所述数据存储系统的计算资源执行所述合并任务。
可选的，上述步骤S204（基于所述数据存储系统的计算资源执行所述合并任务）包括如下步骤a和步骤b。
步骤a、从所述LSM树中读取所述至少两个数据块；
步骤b、基于所述数据存储系统的计算资源对所述至少两个数据块进行合并，生成合并数据块。
在执行上述步骤S203或S204之后，执行如下步骤S205：
S205、将所述合并数据块写入所述LSM树，并将所述至少两个数据块从所述LSM树中删除。
在将合并数据块写入所述LSM树之后，将所述至少两个数据块从所述LSM树中删除可以及时清理LSM树中的冗余数据，进而提升LSM树的存储效率。
本发明实施例提供的数据处理方法在选取待执行的合并任务时，首先判断所述数据存储系统的计算资源占用率是否小于阈值占用率，若所述数据存储系统的计算资源占用率大于或等于所述阈值占用率，则将所述合并任务发送至功能即服务装置，并接收功能即服务装置发送的合并所述至少两个数据块生成的合并数据块，以及将所述合并数据块写入所述LSM树，并将所述至少两个数据块从所述LSM树中删除。由于在所述数据存储系统的计算资源占用率大于或等于所述阈值占用率的情况下，数据存储系统会通过功能即服务装置执行所述合并任务，使用网络资源换取计算资源，从而避免对数据存储系统的性能造成影响，因此本发明实施例可以避免LSM树形态调整影响数据存储系统的性能。
参照图3所示，本发明实施例提供了另一种数据处理方法，该数据处理方法包括：
S301、从所述LSM树存储的文件中确定至少一个待合并文件组。
其中，所述待合并文件组包括至少两个需要进行合并的文件。
即，将需要进行合并的文件作为一个待合并文件组。例如：需要对LSM树存储的文件1、文件2以及文件3进行合并，还需要对LSM树存储的文件4和文件5进行合并，则生成两个待合并文件组，其中一个待合并文件组包括：文件1、文件2以及文件3，另一个待合并文件组包括文件4和文件5。
S302、确定各所述待合并文件组内的至少一个文件中需要参与合并的目标文件片段。
示例性的，某一个待合并文件组包括：文件A和文件B，文件A包括：文件片段A1、文件片段A2、文件片段A3以及文件片段A4四个文件片段，文件B包括：文件片段B1、文件片段B2以及文件片段B3三个文件片段，且文件A中需要参与合并的文件片段为：文件片段A1、文件片段A2以及文件片段A3，文件A中需要参与合并的文件片段为文件片段B1、文件片段B2以及文件片段B3，则该待合并文件组对应的目标文件片段包括：文件片段A1、文件片段A2、文件片段A3、文件片段B1、文件片段B2以及文件片段B3。
S303、根据各个待合并文件组对应的目标文件片段，生成各个待合并文件组对应的合并任务。
需要说明的是，各个待合并文件组可以对应一个合并任务也可以对应多个合并任务。
承上示例所述，待合并文件组对应的目标文件片段包括：文件片段A1、文件片段A2、文件片段A3、文件片段B1、文件片段B2以及文件片段B3，且文件片段A1需要与文件片段B1合并、文件片段A2需要与文件片段B2合并、文件片段A3需要与文件片段B3合并，则该合并文件组对应的合并任务可以为一个用于合并文件片段A1、文件片段A2、文件片段A3、文件片段B1、文件片段B2以及文件片段B3的合并任务，或者该合并文件组对应的合并任务可以包括三个，其分别为：用于合并文件片段A1和文件片段B1的合并任务、用于合并文件片段A2和文件片段B2的合并任务、用于合并文件片段A3和文件片段B3的合并任务。
需要说明的是，由于上述实施例提供的数据处理方法以文件片段为最小粒度生成合并任务，且在执行合并任务时需要度文件的文件片段进行读取，而不是对文件整体进行读取，因此在将文件写入LSM树时，需要将文件按照键值区间划分为多个文件片段，以使执行合并任务时可以正确读取需要合并的文件片段。
S304、在各个待合并文件组对应的合并任务中选取待执行的合并任务。
S305、判断所述数据存储系统的计算资源占用率是否小于阈值占用率。
在上述步骤S305中，若所述数据存储系统的计算资源占用率大于或等于所述阈值占用率，则执行如下步骤S306；若所述数据存储系统的计算资源占用率小于所述阈值占用率，则执行如下步骤S307。
S306、将所述合并任务发送至功能即服务装置，并接收所述功能即服务装置发送的合并数据块。
S307、基于所述数据存储系统的计算资源执行所述合并任务。
在执行上述步骤S306或S307之后，执行如下步骤S308：
S308、将所述合并数据块写入所述LSM树，并将所述至少两个数据块从所述LSM树中删除。
上述实施例提供的数据处理方法先确定待合并文件组，然后再确定各个待合并文件组对应的目标文件片段，并根据各个待合并文件组对应的目标文件片段，生成各个待合并文件组对应的合并任务，因此上述实施例提供的数据处理方法可以以文件片段为最小粒度生成合并任务，相比于以文件为最小粒度生成合并任务，在通过功能即服务装置读取数据时，无需读取文件中不需要参与合并的数据片段，因此上述实施例提供的数据处理方法可以减少网络资源的消耗。
另一方面，如上所述，待合并文件组对应的合并任务可以为多个，且该多个合并任务可以并行执行，相比于文件为最小粒度生成合并任务，待合并文件组对应的合并任务只能为1个，上述实施例提供的数据处理方法还可以提高合并任务的并行度，进而提升调整LSM树的形态的效率。
本发明实施例提供了一种数据处理方法，具体的，参照图4所示，该方法包括：
S401、数据存储系统选取待执行的合并任务。
S402、数据存储系统判断所述数据存储系统的计算资源占用率是否小于阈值占用率。
在上述步骤S402中，若所述数据存储系统的计算资源占用率大于或等于所述阈值占用率，则执行如下步骤S403至410。
S403、数据存储系统向功能即服务装置发送用于请求执行所述合并任务的请求信息。
对应的，功能即服务装置接收数据存储系统发送的用于请求执行所述合并任务请求信息。
S404、功能即服务装置创建用于执行所述合并任务的功能即服务容器。
S405、功能即服务装置向数据存储系统发送所述功能即服务容器的标识。
对应的，数据存储系统接收功能即服务装置发送的所述功能即服务装置创建的用于执行所述合并任务的功能即服务容器的标识。
具体的，功能即服务容器的标识可为功能即服务容器的身份识别码（IdentityDocument，ID）等信息。
S406、数据存储系统向功能即服务容器发送合并任务对应的任务信息。
对应的，功能即服务装置通过功能即服务容器接收所述数据存储系统发送的所述合并任务对应的任务信息。
其中，所述任务信息携带有所述合并任务所要合并的至少两个数据块的标识。
由于任务信息携带有所述合并任务所要合并的至少两个数据块的标识，因此功能即服务装置可以根据数据块的标识得知执行合并任务所需要读取的数据块。
S407、功能即服务装置通过功能即服务容器向数据存储系统发送用于请求读取所述至少两个数据块的数据读取请求。
对应的，数据存储系统接收所述任务功能即服务容器通过所述功能即服务容器发送的用于请求读取所述至少两个数据块的数据读取请求。
示例性的，数据读取请求中可携带所述至少两个数据块的标识，以指示功能即服务容器需要读取的数据。
S408、数据存储系统向所述功能即服务容器发送所述至少两个数据块。
对应的，功能即服务装置通过所述功能即服务容器接收所述数据存储系统发送的所述至少两个数据块。
S409、功能即服务装置通过所述功能即服务容器对所述至少两个数据块进行合并，生成合并数据快。
S410、功能即服务装置通过所述功能即服务容器向所述数据存储系统发送所述合并数据快。
对应的，数据存储系统接收功能即服务装置通过所述功能即服务容器发送的合并数据块。
其中，所述合并数据块为合并所述至少两个数据块生成的数据块。
S411、数据存储系统将所述合并数据块写入所述LSM树，并将所述至少两个数据块从所述LSM树中删除。
在将合并数据块写入所述LSM树之后，将所述至少两个数据块从所述LSM树中删除可以及时清理LSM树中的冗余数据，进而提升LSM树的存储效率。
S412、功能即服务装置注销所述功能即服务容器。
在通过所述功能即服务容器将所述合并数据快发送至所述数据存储系统之后，注销所述功能即服务容器可以回收功能即服务装置为功能即服务容器分配的计算资源，避免计算资源的浪费。
需要说明的是，本发明实施例中不限定上述步骤S411和S412的执行顺序，可以先执行步骤S411，再执行步骤S412，也可以先执行步骤S412，再执行步骤S411，还可以同时执行。
基于同一发明构思，作为对上述方法的实现，本发明实施例还提供了一种数据存储系统和功能即服务装置，数据存储系统实施例和功能即服务装置实施例均与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的数据存储系统和功能即服务装置能够对应实现前述方法实施例的全部内容。
图5为本发明实施例提供的数据存储系统的结构示意图，如图5所示，本实施例提供的数据存储系统500包括：
选取单元51，用于选取待执行的合并任务，所述合并任务用于LSM树存储的至少两个数据块进行合并；
处理单元52，用于判断所述数据存储系统的计算资源占用率是否小于阈值占用率；
合并单元53，在所述计算资源占用率大于或等于所述阈值占用率的情况下，将所述合并任务发送至功能即服务装置，并接收所述功能即服务装置返回的合并数据块；其中，所述合并数据块为合并所述至少两个数据块生成的数据块；
读写单元54，用于将所述合并数据块写入所述LSM树，并将所述至少两个数据块从所述LSM树中删除。
作为本发明实施例一种可选的实施方式，所述合并单元53，具体用于向所述功能即服务装置发送用于执行所述合并任务的请求信息，并接收所述功能即服务装置中用于执行所述合并任务的功能即服务容器标识；将所述合并任务的任务信息发送至所述功能即服务容器，所述任务信息携带有所述至少两个数据块中各数据块的标识；接收所述功能即服务容器发送的用于请求读取所述至少两个数据块的数据读取请求，并向所述功能即服务容器发送所述至少两个数据块；接收所述功能即服务容器发送的所述合并数据块。
作为本发明实施例一种可选的实施方式，所述合并单元53，还还用于在所述计算资源占用率小于所述阈值占用率的情况下，基于所述数据存储系统的计算资源执行所述合并任务。
作为本发明实施例一种可选的实施方式，所述合并单元53，具体用于从所述LSM树中读取所述至少两个数据块；基于所述数据存储系统的计算资源对所述至少两个数据块进行合并，生成合并数据块。
作为本发明实施例一种可选的实施方式，所述处理单元52，还用于在选取待执行的合并任务之前，从所述LSM树存储的文件中确定至少一个待合并文件组，所述待合并文件组包括至少两个需要进行合并的文件；确定各所述待合并文件组内的至少一个文件中需要参与合并的目标文件片段；根据各个待合并文件组对应的目标文件片段，生成各个待合并文件组对应的合并任务；
所述选取单元51，具体用于在各个待合并文件组对应的合并任务中选取待执行的合并任务。
图7为本发明实施例提供的功能即服务装置的结构示意图，如图6所示，本实施例提供的功能即服务装置600包括：
接收单元61，用于接收数据存储系统发送的用于执行合并任务的请求信息，所述合并任务用于对日志结构合并LSM树存储的至少两个数据块进行合并；
执行单元62，用于执行所述合并任务，生成合并数据块，所述合并数据块为合并所述至少两个数据块生成的数据块；
发送单元63，用于向所述数据存储系统发送所述合并数据块。
作为本发明实施例一种可选的实施方式，所述执行单元62，具体用于创建用于执行所述合并任务的功能即服务容器；向所述数据存储系统发送所述功能即服务容器的标识；通过所述功能即服务容器接收所述数据存储系统发送的所述合并任务对应的任务信息，所述任务信息携带有所述合并任务所要合并的至少两个数据块的标识；通过所述功能即服务容器向所述数据存储系统发送用于请求获取所述至少两个数据块的数据读取请求，并接收所述数据存储系统发送的所述至少两个数据块；通过所述功能即服务容器对所述至少两个数据块进行合并，生成所述合并数据快。
作为本发明实施例一种可选的实施方式，参照图6所示，所述功能即服务装置600还包括：
注销单元64，用于在通过所述功能即服务容器将所述合并数据快发送至所述数据存储系统之后，注销所述功能即服务容器。
上述实施例装置实施例提供的数据存储系统和功能即服务装置可以执行上述方法实施例中的各个步骤，其实现原理与技术效果类似，此处不再赘述。
基于同一发明构思，本发明实施例还提供了一种电子设备。图8为本发明实施例提供的电子设备的结构示意图，如图8所示，本实施例提供的电子设备包括：存储器81和处理器82，所述存储器81用于存储计算机程序；所述处理器82用于在调用计算机程序时，使得所述电子设备实现上述实施例提供的数据处理方法。
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现上述实施例提供的数据处理方法。
基于同一发明构思，本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机实现上述实施例提供的数据处理方法。
本领域技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动存储介质。存储介质可以由任何方法或技术来实现信息存储，信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。根据本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种数据处理方法，其特征在于，应用于数据存储系统，所述方法包括：
选取待执行的合并任务，所述合并任务用于对日志结构合并LSM树存储的至少两个数据块进行合并；
判断所述数据存储系统的计算资源占用率是否小于阈值占用率；
若所述计算资源占用率大于或等于所述阈值占用率，则将所述合并任务发送至功能即服务装置，并接收所述功能即服务装置返回的合并数据块；其中，所述功能即服务装置用于在收到所述合并任务时，创建用于执行所述合并任务的功能即服务容器，并向所述数据存储系统发送所述功能即服务容器的标识，通过所述功能即服务容器读取所述至少两个数据块进行数据合并，并将合并所述至少两个数据块生成的合并数据块返回所述数据存储系统；
将所述合并数据块写入所述LSM树，并将所述至少两个数据块从所述LSM树中删除；
若所述计算资源占用率小于所述阈值占用率，则基于所述数据存储系统的计算资源执行所述合并任务。
2.根据权利要求1所述的方法，其特征在于，所述将所述合并任务发送至功能即服务装置，并接收所述功能即服务装置返回的合并数据块，包括：
向所述功能即服务装置发送用于执行所述合并任务的请求信息，并接收所述功能即服务装置中用于执行所述合并任务的功能即服务容器标识；
将所述合并任务的任务信息发送至所述功能即服务容器，所述任务信息携带有所述至少两个数据块中各数据块的标识；
接收所述功能即服务容器发送的用于请求读取所述至少两个数据块的数据读取请求，并向所述功能即服务容器发送所述至少两个数据块；
接收所述功能即服务容器发送的所述合并数据块。
3.根据权利要求1所述的方法，其特征在于，所述基于所述数据存储系统的计算资源执行所述合并任务，包括：
从所述LSM树中读取所述至少两个数据块；
基于所述数据存储系统的计算资源对所述至少两个数据块进行合并，生成合并数据块。
4.根据权利要求1所述的方法，其特征在于，在选取待执行的合并任务之前，所述方法还包括：
从所述LSM树存储的文件中确定至少一个待合并文件组，所述待合并文件组包括至少两个需要进行合并的文件；
确定各所述待合并文件组内的至少一个文件中需要参与合并的目标文件片段；
根据各个待合并文件组对应的目标文件片段，生成各个待合并文件组对应的合并任务；
所述选取待执行的合并任务，包括：
在各个待合并文件组对应的合并任务中选取待执行的合并任务。
5.一种数据处理方法，其特征在于，应用于功能即服务装置，所述方法包括：
接收数据存储系统发送的用于执行合并任务的请求信息，所述合并任务用于对日志结构合并LSM树存储的至少两个数据块进行合并；所述请求信息为所述数据存储系统的计算资源占用率大于或等于阈值占用率时根据所述合并任务生成的请求信息；
执行所述合并任务，生成合并数据块，所述合并数据块为合并所述至少两个数据块生成的数据块；
向所述数据存储系统发送所述合并数据块；
所述执行所述合并任务，生成合并数据块，包括：
创建用于执行所述合并任务的功能即服务容器；
向所述数据存储系统发送所述功能即服务容器的标识；
通过所述功能即服务容器接收所述数据存储系统发送的所述合并任务对应的任务信息，所述任务信息携带有所述合并任务所要合并的至少两个数据块的标识；
通过所述功能即服务容器向所述数据存储系统发送用于请求获取所述至少两个数据块的数据读取请求，并接收所述数据存储系统发送的所述至少两个数据块；
通过所述功能即服务容器对所述至少两个数据块进行合并，生成所述合并数据快。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
在通过所述功能即服务容器将所述合并数据快发送至所述数据存储系统之后，注销所述功能即服务容器。
7.一种数据存储系统，其特征在于，包括：
选取单元，用于选取待执行的合并任务，所述合并任务用于对日志结构合并LSM树存储的至少两个数据块进行合并；
处理单元，用于判断所述数据存储系统的计算资源占用率是否小于阈值占用率；
合并单元，在所述计算资源占用率大于或等于所述阈值占用率的情况下，将所述合并任务发送至功能即服务装置，并接收所述功能即服务装置返回的合并数据块；其中，所述功能即服务装置用于在收到所述合并任务时，创建用于执行所述合并任务的功能即服务容器，并向所述数据存储系统发送所述功能即服务容器的标识，通过所述功能即服务容器读取所述至少两个数据块进行数据合并，并将合并所述至少两个数据块生成的合并数据块返回所述数据存储系统；
读写单元，用于将所述合并数据块写入所述LSM树，并将所述至少两个数据块从所述LSM树中删除；
所述合并单元，还用于在所述计算资源占用率小于所述阈值占用率的情况下，基于所述数据存储系统的计算资源执行所述合并任务。
8.一种功能即服务装置，其特征在于，包括：
接收单元，用于接收数据存储系统发送的用于执行合并任务的请求信息，所述合并任务用于对日志结构合并LSM树存储的至少两个数据块进行合并；所述请求信息为所述数据存储系统的计算资源占用率大于或等于阈值占用率时根据所述合并任务生成的请求信息；
执行单元，用于执行所述合并任务，生成合并数据块，所述合并数据块为合并所述至少两个数据块生成的数据块；
发送单元，用于向所述数据存储系统发送所述合并数据块；
所述执行单元，具体用于创建用于执行所述合并任务的功能即服务容器；向所述数据存储系统发送所述功能即服务容器的标识；通过所述功能即服务容器接收所述数据存储系统发送的所述合并任务对应的任务信息，所述任务信息携带有所述合并任务所要合并的至少两个数据块的标识；通过所述功能即服务容器向所述数据存储系统发送用于请求获取所述至少两个数据块的数据读取请求，并接收所述数据存储系统发送的所述至少两个数据块；通过所述功能即服务容器对所述至少两个数据块进行合并，生成所述合并数据快。
9.一种电子设备，其特征在于，包括：包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在调用计算机程序时，使得所述电子设备实现权利要求1-6任一项所述的数据处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现权利要求1-6任一项所述的数据处理方法。
CN202110647243.4A 2021-06-10 2021-06-10 一种数据处理方法及装置 Active CN113342274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110647243.4A CN113342274B (zh) 2021-06-10 2021-06-10 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110647243.4A CN113342274B (zh) 2021-06-10 2021-06-10 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN113342274A CN113342274A (zh) 2021-09-03
CN113342274B true CN113342274B (zh) 2024-01-30

Family

ID=77475684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110647243.4A Active CN113342274B (zh) 2021-06-10 2021-06-10 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN113342274B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114675965B (zh) * 2022-03-10 2023-05-02 北京百度网讯科技有限公司 联邦学习方法、装置、设备和介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105282244A (zh) * 2015-09-29 2016-01-27 华为技术有限公司 一种数据处理方法、装置、服务器及控制器
CN107247624A (zh) * 2017-06-05 2017-10-13 安徽大学 一种面向Key‑Value系统的协同优化方法及系统
CN108845882A (zh) * 2018-06-07 2018-11-20 网宿科技股份有限公司 基于转码任务调度实现cpu负载均衡的方法和装置
WO2019062572A1 (zh) * 2017-09-27 2019-04-04 华为技术有限公司 一种数据处理方法、装置及系统
CN111625531A (zh) * 2019-02-28 2020-09-04 阿里巴巴集团控股有限公司 基于可编程装置的合并装置、数据合并方法及数据库系统
CN111857996A (zh) * 2020-06-30 2020-10-30 山东云海国创云计算装备产业创新中心有限公司 一种中断处理方法、系统、设备及计算机可读存储介质
CN112513816A (zh) * 2018-08-17 2021-03-16 威睿公司 函数即服务（faas）执行分配器
CN112711564A (zh) * 2019-10-24 2021-04-27 华为技术有限公司 合并处理方法以及相关设备
CN112732191A (zh) * 2021-01-08 2021-04-30 苏州浪潮智能科技有限公司 基于日志结构合并树合并数据的方法、系统、设备及介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10552079B2 (en) * 2017-01-18 2020-02-04 International Business Machines Corporation Planning of data segment merge for distributed storage system
US20180349095A1 (en) * 2017-06-06 2018-12-06 ScaleFlux, Inc. Log-structured merge tree based data storage architecture
US11074225B2 (en) * 2018-12-21 2021-07-27 Vmware, Inc. Synchronization of index copies in an LSM tree file system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105282244A (zh) * 2015-09-29 2016-01-27 华为技术有限公司 一种数据处理方法、装置、服务器及控制器
CN107247624A (zh) * 2017-06-05 2017-10-13 安徽大学 一种面向Key‑Value系统的协同优化方法及系统
WO2019062572A1 (zh) * 2017-09-27 2019-04-04 华为技术有限公司 一种数据处理方法、装置及系统
CN108845882A (zh) * 2018-06-07 2018-11-20 网宿科技股份有限公司 基于转码任务调度实现cpu负载均衡的方法和装置
CN112513816A (zh) * 2018-08-17 2021-03-16 威睿公司 函数即服务（faas）执行分配器
CN111625531A (zh) * 2019-02-28 2020-09-04 阿里巴巴集团控股有限公司 基于可编程装置的合并装置、数据合并方法及数据库系统
CN112711564A (zh) * 2019-10-24 2021-04-27 华为技术有限公司 合并处理方法以及相关设备
CN111857996A (zh) * 2020-06-30 2020-10-30 山东云海国创云计算装备产业创新中心有限公司 一种中断处理方法、系统、设备及计算机可读存储介质
CN112732191A (zh) * 2021-01-08 2021-04-30 苏州浪潮智能科技有限公司 基于日志结构合并树合并数据的方法、系统、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Speeding up Compaction of the LSM-Tree via Delayed Compaction;Feng-Feng Pan等;《Journal of Computer Science and Technology》;第41-54页 *
面向Docker容器的动态负载集群伸缩研究;杨忠;;舰船电子工程(第08期);全文 *

Also Published As

Publication number Publication date
CN113342274A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
US11614867B2 (en) Distributed storage system-based data processing method and storage device
EP3591510A1 (en) Method and device for writing service data in block chain system
US20090182929A1 (en) Method and apparatus for storing and restoring state of virtual machine
EP3674909A1 (en) Data transaction processing method, device, and electronic device
CN103324533B (zh) 分布式数据处理方法、装置及系统
CN110968586A (zh) 分布式事务处理方法及装置
AU2015317916A1 (en) File reputation evaluation
CN106446159A (zh) 一种存储文件的方法、第一虚拟机及名称节点
CN113342274B (zh) 一种数据处理方法及装置
CN114265670A (zh) 一种内存块整理方法、介质及计算设备
CN109697127B (zh) 一种对共享资源的访问操作加锁的方法和装置
CN112835885B (zh) 一种分布式表格存储的处理方法、装置及系统
CN106940712B (zh) 序列生成方法与设备
CN107870922B (zh) 一种用于数据去重的方法、设备和系统
WO2022048475A1 (zh) 数据去重方法、节点及计算机可读存储介质
CN110851434A (zh) 一种数据存储方法、装置及设备
CN102750213A (zh) 磁盘检测、处理方法及检测、处理系统
CN117492661A (zh) 数据写入方法、介质、装置和计算设备
CN111046004B (zh) 一种数据文件存储方法、装置、设备及存储介质
JP4718939B2 (ja) オブジェクトのカテゴリ化
CN115907949A (zh) 银行交易数据处理方法及装置
CN110716814B (zh) 一种进程间大数据量通讯的性能优化方法和装置
CN112488833A (zh) 交易处理方法、装置、电子设备及可读存储介质
CN112506661A (zh) Ai云服务调用方法及装置、存储介质和ai云服务平台
CN107231390B (zh) 互联网业务的处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220707

Address after: 100190 1309, 13th floor, building 4, Zijin Digital Park, Haidian District, Beijing

Applicant after: Beijing volcano Engine Technology Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Applicant before: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant