CN112463833A - 一种数据集获取方法、系统、设备以及介质 - Google Patents

一种数据集获取方法、系统、设备以及介质 Download PDF

Info

Publication number
CN112463833A
CN112463833A CN202011400015.9A CN202011400015A CN112463833A CN 112463833 A CN112463833 A CN 112463833A CN 202011400015 A CN202011400015 A CN 202011400015A CN 112463833 A CN112463833 A CN 112463833A
Authority
CN
China
Prior art keywords
data set
downloading
progress
download
downloading process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011400015.9A
Other languages
English (en)
Inventor
邢良占
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202011400015.9A priority Critical patent/CN112463833A/zh
Publication of CN112463833A publication Critical patent/CN112463833A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种数据集获取方法，包括以下步骤：接收若干个数据集获取请求；将每一个所述请求中待获取数据集的唯一标识与下载进程ID关联；根据所述下载进程ID创建下载进程并利用所述下载进程下载对应的数据集；监控每一个所述下载进程的下载进度并反馈给对应的请求方。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方案可以实现高效的对接分布式存储系统，实现高效、准确的数据集缓存、实时获取缓存进度、准确的中断问题数据集缓存进程，从而提高训练任务训练的速度，避免因为文件系统不统一，导致深度学习平台无法使用分布式文件系统中的数据集进行训练。

Description

一种数据集获取方法、系统、设备以及介质
技术领域
本发明涉及深度学习领域，具体涉及一种数据集获取方法、系统、设备以及存储介质。
背景技术
目前，以深度学习为代表的人工智能技术取得了飞速的发展，这些技术正落地应用于各行各业。随着深度学习的广泛应用，很多领域产生了大量的、强烈的高效便捷训练人工智能模型方面的需求，而这些训练都是依赖于数据集，这些数据集小则几百G，大的甚至几T、几十T，甚至是PB级别的，这些数据大部分都是存储在私有的数据中心中，这些用户希望在构建私有的人工智能训练平台时，可以直接使用这些数据集数据，然而这种“私有存储+集群训练”的训练模式加剧了计算存储分离架构带来的远程数据访问的性能影响。计算存储分离这种基本架构虽然可以为计算资源和存储资源的配置和扩展带来更高的灵活性，但是如果从数据访问效率的角度来看，由于受限于网络传输带宽，用户在不经调优的情况下，简单使用这种架构通常会遇到模型训练性能下降的问题。同时，又因为大部分私有数据中心中采用分布式文件系统来存储数据集，比如HDFS等分布式文件系统，造成深度学习平台对接的困难；
在目前的技术中，大部分深度学习平台都是支持对接NFS这种文件系统，而针对HDFS这种分布式文件系统没有一种很好的对接方式。
发明内容
有鉴于此，为了克服上述问题的至少一个方面，本发明实施例提出一种数据集获取方法，包括以下步骤：
接收若干个数据集获取请求；
将每一个所述请求中待获取数据集的唯一标识与下载进程ID关联；
根据所述下载进程ID创建下载进程并利用所述下载进程下载对应的数据集；
监控每一个所述下载进程的下载进度并反馈给对应的请求方。
在一些实施例中，还包括：
响应于在下载过程中再次接收到数据集获取请求，根据再次接收到的请求对应的待获取数据集的唯一标识判断当前是否存在关联的下载进程ID；
响应于存在，直接将所述关联的下载进程ID对应的下载进度反馈给请求方。
在一些实施例中，接收若干个数据集获取请求，进一步还包括：
将接收到的若干个数据集获取请求分别对应的唯一标识进行去重处理；
将进行去重处理得到的若干个待获取数据集的唯一标识分别与所述对应的请求方进行关联。
在一些实施例中，还包括：
响应于接收到请求方的中断下载数据集的请求，根据待中断下载的数据集的唯一标识判断是否存在其他请求方请求下载所述待中断下载的数据集；
响应于不存在，根据所述待中断下载的数据集的唯一标识确定对应的所述下载进程ID，以通过中断命令结束与所述对应的下载进程ID相对应的所述下载进程。
在一些实施例中，监控每一个所述下载进程的下载进度并反馈给对应的请求方，进一步包括：
将所述待获取数据集的下载进度反馈给每一个与所述待获取数据集的唯一标识关联的请求方。
在一些实施例中，还包括：
响应于所述待下载的数据集下载完毕或中断下载，将对应的下载进度、下载进程ID以及请求方持久化保存。
在一些实施例中，还包括：
创建用于生成所述下载进程ID第一资源池、用于创建下载进程的第二资源池以及用于保存下载进度的第三资源池。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种数据集获取系统，，包括：
接收模块，所述接收模块配置为接收若干个数据集获取请求；
关联模块，所述关联模块配置为将每一个所述请求中待获取数据集的唯一标识与下载进程ID关联；
下载模块，所述下载模块配置为根据所述下载进程ID创建下载进程并利用所述下载进程下载对应的数据集；
反馈模块，所述反馈模块配置为监控每一个所述下载进程的下载进度并反馈给对应的请求方。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机设备，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如上所述的任一种数据集获取方法的步骤。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种数据集获取方法的步骤。
本发明具有以下有益技术效果之一：本发明提出的方案可以实现高效的对接分布式存储系统，实现高效、准确的数据集缓存、实时获取缓存进度、准确的中断问题数据集缓存进程，从而提高训练任务训练的速度，避免因为文件系统不统一，导致深度学习平台无法使用分布式文件系统中的数据集进行训练。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明的实施例提供的数据集获取方法的流程示意图；
图2为本发明的实施例提出的三个资源池之间的关联图；
图3为本发明的实施例提出的监控进程的流程框图；
图4为本发明的实施例提供的数据集获取系统的结构示意图；
图5为本发明的实施例提供的计算机设备的结构示意图；
图6为本发明的实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
根据本发明的一个方面，本发明的实施例提出一种数据集获取方法，如图1所示，其可以包括步骤：
S1，接收若干个数据集获取请求；
S2，将每一个所述请求中待获取数据集的唯一标识与下载进程ID关联；
S3，根据所述下载进程ID创建下载进程并利用所述下载进程下载对应的数据集；
S4，监控每一个所述下载进程的下载进度并反馈给对应的请求方。
本发明提出的方案可以实现高效的对接分布式存储系统，实现高效、准确的数据集缓存、实时获取缓存进度、准确的中断问题数据集缓存进程，从而提高训练任务训练的速度，避免因为文件系统不统一，导致深度学习平台无法使用分布式文件系统中的数据集进行训练。
在一些实施例中，方法还包括：
创建用于生成所述下载进程ID第一资源池、用于创建下载进程的第二资源池以及用于保存下载进度的第三资源池。
具体的，如图2-图3所示，可以通过创建三个系统级别的资源池管理所有缓存数据集的进程资源，例如可以包括下面三个资源池，DOWNLOADING_POOL(管理所有数据集的下载进程ID，根据数据集的唯一标识和下载进程ID一一对应)、DOWNLOADING_TASK_POOL(管理所有的下载进程，根据下载进程ID和下载进程FutureTask一一对应)、DOWNLOADING_PROCESS_POOL(管理所有下载进程的下载进度，根据下载进程ID和下载进度一一对应)，对HDFS数据集进行缓存的过程中，会在相应的资源池中维护相关的数据。
在一些实施例中，还包括：
响应于在下载过程中再次接收到数据集获取请求，根据再次接收到的请求对应的待获取数据集的唯一标识判断当前是否存在关联的下载进程ID；
响应于存在，直接将所述关联的下载进程ID对应的下载进度反馈给请求方。
具体的，当初始收到若干个请求后，如果后续通过数据集的唯一标识判断有相同的数据集缓存的请求可直接通过资源池获取到下载进程ID，然后通过下载进程ID获取到对应的下载进度并进行反馈。若此时正在下载的数据集中没有匹配到相同的数据集，则需要进行步骤S2-S4，即创建下载进程ID，然后创建下载进程，利用下载进程进行数据集的下载。
需要说明的是，数据集的唯一标识可以是该数据集在分布式系统中的存储路径，每一个请求获取的数据集可以相同，也可以不同。
在一些实施例中，接收若干个数据集获取请求，进一步还包括：
将接收到的若干个数据集获取请求分别对应的唯一标识进行去重处理；
将进行去重处理得到的若干个待获取数据集的唯一标识分别与所述对应的请求方进行关联。
具体的，当接收到的若干个数据集下载请求中有重复的请求，则需要根据待下载的数据集的唯一标识进行去重处理，然后将进行去重处理后的数据集的唯一标识与对应的请求方关联。例如，请求方A请求数据集a，请求方B请求数据集a，请求方C请求数据集a，请求方D请求数据集d，则去重处理后得到的待下载的数据集为a和d，然后将a和请求方A、B和C关联，d和请求方D关联。
在一些实施例中，请求方也可以是任务，即若训练任务A需要数据集a，训练任务B需要数据集a，训练任务C需要数据集a，训练任务D需要数据集d，则去重处理后得到的待下载的数据集为a和d，然后将a和训练任务A、B和C关联，d和训练任务D关联。
在一些实施例中，还包括：
响应于接收到请求方的中断下载数据集的请求，根据待中断下载的数据集的唯一标识判断是否存在其他请求方请求下载所述待中断下载的数据集；
响应于不存在，根据所述待中断下载的数据集的唯一标识确定对应的所述下载进程ID，以通过中断命令结束与所述对应的下载进程ID相对应的所述下载进程。
具体的，当接收到中断下载数据集的请求后，如果通过该待中断下载的数据集的唯一标识判断不存在其他请求方请求下载该数据集，也即只有该请求方请求下载该数据集，则直接通过中断命令结束与对应的下载进程ID相对应的所述下载进程。例如，请求方A请求数据集a，请求方B请求数据集a，请求方C请求数据集a，请求方D请求数据集d，若请求方A请求中断下载数据集a，但是请求方B和C并未请求中断下载，因此该数据集a继续下载，只是向请求方A反馈已中断下载。若请求方D请求中断下载数据集d，因没有其他请求方同时请求下载该数据集，因此该数据集直接中断下载。
在一些实施例中，监控每一个所述下载进程的下载进度并反馈给对应的请求方，进一步包括：
将所述待获取数据集的下载进度反馈给每一个与所述待获取数据集的唯一标识关联的请求方。
具体的，在进行数据集下载时，可以通过第三资源池获取到每一个数据集的下载进度，这样通过数据集的唯一标识与请求方/任务的关联关系，即可将对应的下载进度反馈给相应的请求方或任务。
在一些实施例中，还包括：
响应于所述待下载的数据集下载完毕或中断下载，将对应的下载进度、下载进程ID以及请求方持久化保存。
具体的，当数据集下载完毕或者中断下载后，则将相应的信息例如下载进度，下载进程以及请求方进行持久化保存。
这样，如图2和图3所示，本发明提出的方案在收到数据集缓存的请求，数据集下载池(DOWNLOADING_POOL)为缓存请求分配空间，同时生成唯一下载进程ID，将数据集、下载ID作为关联保存到数据集下载池中；在生成唯一下载进程ID后，数据集任务池(DOWNLOADING_TASK_POOL)为该下载任务分配空间，创建一个FutureTask线程，同时将唯一下载ID和FutureTask线程绑定，由数据集任务池运行FutureTask，FutureTask内部开始调用HadoopAPI下载HDFS数据集；接着启动一个监控进程，实时获取资源池中所有正在下载数据集的进程，然后遍历进程，计算已经下载的进度，将数据集下载进度更新到DOWNLOADING_PROCESS_POOL中；最后实时获取DOWNLOADING_TASK_POOL资源池中的数据，如果需要中断数据集缓存进程，直接根据下载进程ID获取对应的FutureTask，然后调用FutureTask.cancel(true)中断下载进程，同时清理相关资源池中的数据。最终可以实现高效的对接分布式存储系统，实现高效、准确的数据集缓存、实时获取缓存进度、准确的中断问题数据集缓存进程，从而提高训练任务训练的速度，避免因为文件系统不统一，导致深度学习平台无法使用分布式文件系统中的数据集进行训练。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种数据集获取系统400，如图4所示，包括：
接收模块401，所述接收模块401配置为接收若干个数据集获取请求；
关联模块402，所述关联模块402配置为将每一个所述请求中待获取数据集的唯一标识与下载进程ID关联；
下载模块403，所述下载模块403配置为根据所述下载进程ID创建下载进程并利用所述下载进程下载对应的数据集；
反馈模块404，所述反馈模块404配置为监控每一个所述下载进程的下载进度并反馈给对应的请求方。
基于同一发明构思，根据本发明的另一个方面，如图5所示，本发明的实施例还提供了一种计算机设备501，包括：
至少一个处理器520；以及
存储器510，存储器510存储有可在处理器上运行的计算机程序511，处理器520执行程序时执行如上的任一种数据集获取方法的步骤。
基于同一发明构思，根据本发明的另一个方面，如图6所示，本发明的实施例还提供了一种计算机可读存储介质601，计算机可读存储介质601存储有计算机程序指令610，计算机程序指令610被处理器执行时执行如上的任一种数据集获取方法的步骤。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。
此外，应该明白的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种数据集获取方法，其特征在于，包括以下步骤：
接收若干个数据集获取请求；
将每一个所述请求中待获取数据集的唯一标识与下载进程ID关联；
根据所述下载进程ID创建下载进程并利用所述下载进程下载对应的数据集；
监控每一个所述下载进程的下载进度并反馈给对应的请求方。
2.如权利要求1所述的方法，其特征在于，还包括：
响应于在下载过程中再次接收到数据集获取请求，根据再次接收到的请求对应的待获取数据集的唯一标识判断当前是否存在关联的下载进程ID；
响应于存在，直接将所述关联的下载进程ID对应的下载进度反馈给请求方。
3.如权利要求1所述的方法，其特征在于，接收若干个数据集获取请求，进一步还包括：
将接收到的若干个数据集获取请求分别对应的唯一标识进行去重处理；
将进行去重处理得到的若干个待获取数据集的唯一标识分别与所述对应的请求方进行关联。
4.如权利要求3所述的方法，其特征在于，还包括：
响应于接收到请求方的中断下载数据集的请求，根据待中断下载的数据集的唯一标识判断是否存在其他请求方请求下载所述待中断下载的数据集；
响应于不存在，根据所述待中断下载的数据集的唯一标识确定对应的所述下载进程ID，以通过中断命令结束与所述对应的下载进程ID相对应的所述下载进程。
5.如权利要求3所述的方法，其特征在于，监控每一个所述下载进程的下载进度并反馈给对应的请求方，进一步包括：
将所述待获取数据集的下载进度反馈给每一个与所述待获取数据集的唯一标识关联的请求方。
6.如权利要求3所述的方法，其特征在于，还包括：
响应于所述待下载的数据集下载完毕或中断下载，将对应的下载进度、下载进程ID以及请求方持久化保存。
7.如权利要求1所述的方法，其特征在于，还包括：
创建用于生成所述下载进程ID第一资源池、用于创建下载进程的第二资源池以及用于保存下载进度的第三资源池。
8.一种数据集获取系统，其特征在于，包括：
接收模块，所述接收模块配置为接收若干个数据集获取请求；
关联模块，所述关联模块配置为将每一个所述请求中待获取数据集的唯一标识与下载进程ID关联；
下载模块，所述下载模块配置为根据所述下载进程ID创建下载进程并利用所述下载进程下载对应的数据集；
反馈模块，所述反馈模块配置为监控每一个所述下载进程的下载进度并反馈给对应的请求方。
9.一种计算机设备，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如权利要求1-7任意一项所述的方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1-7任意一项所述的方法的步骤。
CN202011400015.9A 2020-12-04 2020-12-04 一种数据集获取方法、系统、设备以及介质 Withdrawn CN112463833A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011400015.9A CN112463833A (zh) 2020-12-04 2020-12-04 一种数据集获取方法、系统、设备以及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011400015.9A CN112463833A (zh) 2020-12-04 2020-12-04 一种数据集获取方法、系统、设备以及介质

Publications (1)

Publication Number Publication Date
CN112463833A true CN112463833A (zh) 2021-03-09

Family

ID=74806142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011400015.9A Withdrawn CN112463833A (zh) 2020-12-04 2020-12-04 一种数据集获取方法、系统、设备以及介质

Country Status (1)

Country Link
CN (1) CN112463833A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113779641A (zh) * 2021-09-02 2021-12-10 新奥数能科技有限公司 数据配置方法、装置、计算机设备及计算机可读存储介质
CN116244538A (zh) * 2023-01-31 2023-06-09 彭志勇 基于serviceworker的文件缓存方法和加载方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113779641A (zh) * 2021-09-02 2021-12-10 新奥数能科技有限公司 数据配置方法、装置、计算机设备及计算机可读存储介质
CN113779641B (zh) * 2021-09-02 2024-03-05 新奥数能科技有限公司 数据配置方法、装置、计算机设备及计算机可读存储介质
CN116244538A (zh) * 2023-01-31 2023-06-09 彭志勇 基于serviceworker的文件缓存方法和加载方法
CN116244538B (zh) * 2023-01-31 2023-11-21 彭志勇 基于serviceworker的文件缓存方法和加载方法

Similar Documents

Publication Publication Date Title
US20160179884A1 (en) Integrated event processing and database management
CN109886693B (zh) 区块链系统的共识实现方法、装置、设备和介质
CN103237060B (zh) 一种数据对象获取方法、装置及系统
CN110347515B (zh) 一种适合边缘计算环境的资源优化分配方法
US11423343B2 (en) Dynamic construction of cloud services
CN112463833A (zh) 一种数据集获取方法、系统、设备以及介质
WO2016169237A1 (zh) 数据处理方法及装置
CN107729353B (zh) 用于执行机器学习的分布式系统及其方法
JP6972796B2 (ja) ソフトウェアサービス実行装置、システム、及び方法
US9251227B2 (en) Intelligently provisioning cloud information services
CN111966943A (zh) 流式数据分发方法和系统
CN114265680A (zh) 一种海量数据处理方法、装置、电子设备及存储介质
CN110673959A (zh) 用于处理任务的系统、方法和装置
CN114328432A (zh) 一种大数据联邦学习处理方法及系统
CN115618010A (zh) 融合图谱的存储和处理方法及装置
CN109618187B (zh) 一种视频数据的获取方法及装置
CN111435315A (zh) 分配资源的方法、装置、设备和计算机可读介质
CN113434283A (zh) 服务调度方法及装置、服务器、计算机可读存储介质
CN112463334A (zh) 一种训练任务排队原因分析方法、系统、设备以及介质
CN110209888A (zh) 接口请求的存储方法及装置
CN110909072B (zh) 一种数据表建立方法、装置及设备
CN111444148A (zh) 基于MapReduce的数据传输方法和装置
EP4068112A1 (en) Routing sql statements to elastic compute nodes using workload class
CN110740138A (zh) 数据传输方法和装置
CN113485828B (zh) 基于quartz的分布式任务调度系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210309

WW01 Invention patent application withdrawn after publication