CN106990913B - 一种大规模流式集合数据的分布式处理方法 - Google Patents

一种大规模流式集合数据的分布式处理方法 Download PDF

Info

Publication number
CN106990913B
CN106990913B CN201710087603.3A CN201710087603A CN106990913B CN 106990913 B CN106990913 B CN 106990913B CN 201710087603 A CN201710087603 A CN 201710087603A CN 106990913 B CN106990913 B CN 106990913B
Authority
CN
China
Prior art keywords
distributed
message
current
collective data
max
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710087603.3A
Other languages
English (en)
Other versions
CN106990913A (zh
Inventor
王建民
龙明盛
王珏
黄向东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201710087603.3A priority Critical patent/CN106990913B/zh
Publication of CN106990913A publication Critical patent/CN106990913A/zh
Application granted granted Critical
Publication of CN106990913B publication Critical patent/CN106990913B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device

Abstract

本发明涉及一种大规模流式集合数据的分布式处理方法，属于计算机数据处理技术领域。首先基于分布式消息系统记录流式集合数据的完备状态，如果流式集合数据完备则消息系统生成对应的消息，分布式计算系统从分布式消息系统中提取流式集合数据的状态消息，将获取的流式集合数据存储到分布式存储系统，根据具体的处理算法和业务逻辑进行分布式处理和计算，并将处理结果存储到分布式存储系统中，完成对流式集合数据的处理。本发明方法可以有效的控制流式集合数据的处理流程，并利用集合数据的批量式计算提高系统的资源利用率。本方法可以快速、有效地处理目前日益增长的流式集合数据，十分适用于工业物联网、气象信息网等典型的大数据应用场景。

Description

一种大规模流式集合数据的分布式处理方法
技术领域
本发明涉及一种大规模流式集合数据的分布式处理方法，属于计算机数据处理技术领域。
背景技术
随着大数据和物联网技术的发展以及在多个关键领域的普及，在工业互联网、气象信息网等重要应用领域中实时产生着大规模流式集合数据。流式集合数据的特点是：不同集合的数据成员都流式地产生，但仅当每个集合中的数据成员全部完备才可以进行处理。例如，在智慧气象领域中极为重要的集合预报数据，需要按照大气动力学方程的多个初始条件计算气象模式解，得到的多个数值解将构成一个完整的集合，而不同集合数据在全球各地的气象部门中是以流式方式产生的；要进行集合预报，就需要每个集合中的所有数据成员都到齐才可以进行。对于大规模流式集合数据这一重要的数据类型，现有的单机系统和简单的分布式系统都无法高效地处理，成为制约相关领域技术升级和业务增强的瓶颈之一。在复杂的数据产生环境下，如何快速有效的处理大规模流式集合数据，已成为分布式系统和大数据处理领域的一个重要问题。
面对如今庞大的计算任务，采用分布式计算系统的方案在工业界得到了广泛认可，如国内的百度、阿里巴巴、腾讯等都部署了大规模的分布式计算系统，用于海量数据的高效处理。随着分布式计算系统在各行各业优越的表现，一方面分布式计算系统的解决方案越来越多，同时越来越成熟，另一方面绝大部分的分布式计算系统面向大众提供开源的代码，降低了分布式计算系统使用的门槛，方便对分布式计算系统进行更好的学习使用和改进。虽然使用分布式计算系统进行大规模数据的高效处理已经成为主流的大数据解决方案，如何对大规模流式集合数据这一新的数据类型进行高效处理和持久化仍然是一个开放性问题，已经成为工业界聚焦的重要问题，也是大数据的前沿课题之一。
发明内容
本发明的目的是提出一种大规模流式集合数据的分布式处理方法，针对目前大规模流式集合数据处理的问题，采用分布式消息系统记录集合数据完备状态，采用分布式存储系统对流式集合数据持久化，采用分布式计算系统进行批量高效处理，上述三个系统共同实现大规模流式集合数据的高效处理和存储。
本发明提出的大规模流式集合数据的分布式处理方法，包括以下步骤：
(1)监控系统从数据源接收集合数据,将接收的集合数据记为 记当前分布式存储系统的写入队列长度为wcurrent，分布式存储系统的最大写入队列长度为wmax，对当前分布式存储系统的写入队列长度进行判断，若0<wcurrent<wmax，则进入步骤(2)；若wcurrent≥wmax，则监控系统将接收的集合数据写入监控系统的磁盘，并记写入磁盘的集合数据为sstore，继续接收集合数据，重复本步骤，若wcurrent＝0，则访问磁盘上的sstore，并对磁盘上的sstore进行判断，若sstore存在，则进入步骤(2)，若sstore不存在，则重复本步骤；
(2)根据集合数据中的头信息，所述头信息为集合数据中的成员数n，监控系统对集合数据进行判断，记接收的集合数据当前到达的成员数为scurrent，若scurrent＝n，则监控系统将集合数据存储到分布式存储系统中，进入步骤(3)，若scurrent<n，则返回步骤(1)；
(3)监控系统将集合数据中在分布式存储系统中的消息，所述消息为集合数据在分布式存储系统中的表名与行、列位置，发送至分布式消息系统中，分布式消息系统将接收的消息写入分布式消息系统的消息队列Q中，记当前分布式消息系统队列中的所有消息为Icurrent，设定一个消息队列Q的长度阈值为Lmax，并记当前消息队列的长度为Lcurrent，根据消息队列Q的长度阈值Lmax，对消息队列Q的长度进行判断，若Lcurrent≥Lmax，则将Icurrent中的Lcurrent/2的消息存储到分布式消息系统的磁盘中，并记存储至磁盘中的消息为Istore，重复本步骤，若Lcurrent＝0，则访问分布式消息系统的磁盘，并对磁盘上的消息进行判断，若磁盘上存在消息Istore，则将消息Istore写入消息队列Q中，重复本步骤，若磁盘上不存在消息Istore，则返回步骤(1)，若Lmax>Lcurrent>0，则进行步骤(4)；
(4)监控系统访问分布式存储系统，对分布式存储系统的写入队列长度进行判断，若wcurrent<wmax，进入步骤(5)，若wcurrent≥wmax，重复本步骤；
(5)分布式计算系统从分布式消息系统队列中Q中获取消息，设定分布式计算系统最少处理的消息阈值为Lmin，获取消息的时间阈值为tmax，记当前获取消息的等待时间为twait，对分布式消息系统中的消息队列Q进行判断，若分布式消息系统的消息队列Q中Lcurrent≥Lmin，且twait≤tmax，则分布式计算系统从分布式消息系统的消息队列Q中获取消息，进入步骤(6)，若分布式消息系统的队列Q中Lcurrent<Lmin，或twait>tmax，则放弃本次获取的消息，返回上述步骤(2)；
(6)分布式计算系统根据获取的消息，从分布式存储系统中获取相应的集合数据，并对从分布式存储系统中获取的集合数据进行判断，若分布式存储系统中存在与获取的消息相对应的集合数据，则进行步骤(7)，若分布式存储系统中不存在与获取的消息相对应的集合数据，则返回上述步骤(2)；
(7)分布式计算系统根据步骤(6)获得的集合数据，通过处理算法和业务逻辑对集合数据进行分布式的处理和计算，得到计算结果，并通知监控系统计算完成；
(8)记分布式计算系统写入分布式存储系统的最大等待时间为savemax,当前等待时间为savecurrent，监控系统对分布式计算系统写入分布式存储系统的等待时间进行判断，若savecurrent≥savemax，则返回步骤(6)，若savecurrent<savemax，则监控系统根据获取的消息，将分布式计算结果存储到分布式存储系统的相应位置。
本发明提出的大规模流式集合数据的分布式处理方法，其优点是：
1、本发明提出的大规模流式集合数据的分布式处理方法，可以有效的控制流式集合数据的处理流程，并利用集合数据的批量式计算提高系统的资源利用率。
2、本发明的大规模流式集合数据的分布式处理方法，基于分布式计算系统设计，可以快速、有效地处理目前日益增长的流式集合数据，并结合可视化界提供系统参数调整，降低了系统的使用门槛。
3、本发明的大规模流式集合数据的分布式处理方法，其中的分布式消息系统、分布式计算系统、分布式存储系统均支持快速动态的拓展，可迭代计算，十分适用于工业物联网、气象信息网等典型的大数据应用场景。
附图说明
图1是本发明提出的大规模流式集合数据的分布式处理方法的功能框架图。
图2是本发明方法中各步骤的流程框图。
图3是本发明方法中步骤(1)的流程框图。
图4是本发明方法中步骤(2)的流程框图。
图5是本发明方法中步骤(3)的流程框图。
图6是本发明方法中步骤(4)的流程框图。
图7是本发明方法中步骤(5)的流程框图。
图8是本发明方法中步骤(6)的流程框图。
图9是本发明方法中步骤(7)的流程框图。
图10是本发明方法中步骤(8)的流程框图。
具体实施方式
本发明提出的大规模流式集合数据的分布式处理方法，其功能框架图如图1所示，其各步骤的流程框图如图2所示，包括以下步骤：
(1)监控系统从数据源接收集合数据,将接收的集合数据记为 记当前分布式存储系统的写入队列长度为wcurrent，分布式存储系统的最大写入队列长度为wmax，由于需要往分布式存储系统写入数据，监控系统需要访问分布式存储系统，根据分布式存储系统的写入压力，决定是否直接往分布式存储系统写入数据。对当前分布式存储系统的写入队列长度进行判断，若0<wcurrent<wmax，则进入步骤(2)；若wcurrent≥wmax，则监控系统将接收的集合数据写入监控系统的磁盘，并记写入磁盘的集合数据为sstore，继续接收集合数据，重复本步骤，若wcurrent＝0，则访问磁盘上的sstore，并对磁盘上的sstore进行判断，若sstore存在，则进入步骤(2)，若sstore不存在，则重复本步骤，其流程框图如图3所示；
(2)根据集合数据中的头信息，所述头信息为集合数据中的成员数n，监控系统对集合数据进行判断，记接收的集合数据当前到达的成员数为scurrent，若scurrent＝n，则监控系统将集合数据存储到分布式存储系统中，进入步骤(3)，若scurrent<n，则返回步骤(1)，其流程框图如图4所示；
(3)监控系统将集合数据在分布式存储系统中的消息，所述消息为集合数据在分布式存储系统中的表名与行、列位置，发送至分布式消息系统中，分布式消息系统将接收的消息写入分布式消息系统的消息队列Q中，记当前分布式消息系统队列中的所有消息为Icurrent，设定一个消息队列Q的长度阈值为Lmax，并记当前消息队列的长度为Lcurrent，根据消息队列Q的长度阈值Lmax，对消息队列Q的长度进行判断，若Lcurrent≥Lmax，则将Icurrent中的Lcurrent/2的消息存储到分布式消息系统的磁盘中，并记存储至磁盘中的消息为Istore，重复本步骤，若Lcurrent＝0，则访问分布式消息系统的磁盘，并对磁盘上的消息进行判断，若磁盘上存在消息Istore，则将消息Istore写入消息队列Q中，重复本步骤，若磁盘上不存在消息Istore，则返回步骤(1)，若Lmax>Lcurrent>0，则进行步骤(4)，其流程框图如图5所示；
(4)由于需要往分布式存储系统写入数据，监控系统访问分布式存储系统，对分布式存储系统的写入队列长度进行判断，若wcurrent<wmax，进入步骤(5)，若wcurrent≥wmax，此时分布式存储系统写入压力过大，分布式计算系统等待分布式存储系统完成写入任务，重复本步骤，其流程框图如图6所示；
(5)分布式计算系统从分布式消息系统队列中Q中获取消息，设定分布式计算系统最少处理的消息阈值为Lmin，获取消息的时间阈值为tmax，记当前获取消息的等待时间为twait，对分布式消息系统中的消息队列Q进行判断，若分布式消息系统的消息队列Q中Lcurrent≥Lmin，且twait≤tmax，则分布式计算系统从分布式消息系统的消息队列Q中获取消息，进入步骤(6)，若分布式消息系统的队列Q中Lcurrent<Lmin，或twait>tmax，则放弃本次获取的消息，返回上述步骤(2)，其流程框图如图7所示；
(6)分布式计算系统根据获取的消息，从分布式存储系统中获取相应的集合数据，并对从分布式存储系统中获取的集合数据进行判断，若分布式存储系统中存在与获取的消息相对应的集合数据，则进行步骤(7)，若分布式存储系统中不存在与获取的消息相对应的集合数据，则返回上述步骤(2)，其流程框图如图8所示；
(7)分布式计算系统根据步骤(6)获得的集合数据，通过处理算法和业务逻辑对集合数据进行分布式的处理和计算，得到计算结果，并通知监控系统计算完成，其流程框图如图9所示；
(8)由于集合数据不断的流式到来，因此分布式计算完成后，分布式存储系统压力可能过大，监控系统需要协调两者的处理。记分布式计算系统写入分布式存储系统的最大等待时间为savemay,当前等待时间为savecurrent，监控系统对分布式计算系统写入分布式存储系统的等待时间进行判断，若savecurrent≥savemax，则返回步骤(6)，若savecurrent<savemax，则监控系统根据获取的消息，将分布式计算结果存储到分布式存储系统的相应位置，其流程框图如图10所示。

Claims (1)

1.一种大规模流式集合数据的分布式处理方法，其特征在于该处理方法包括以下步骤：
(1)监控系统从数据源接收集合数据，将接收的集合数据记为 记当前分布式存储系统的写入队列长度为wcurrent，分布式存储系统的最大写入队列长度为wmax，对当前分布式存储系统的写入队列长度进行判断，若0＜wcurrennt＜wmax，则进入步骤(2)；若wcurrent≥wmax，则监控系统将接收的集合数据写入监控系统的磁盘，并记写入磁盘的集合数据为sstore，继续接收集合数据，重复本步骤，若wcurrent＝0，则访问磁盘上的sstore，并对磁盘上的sstore进行判断，若sstore存在，则进入步骤(2)，若sstore不存在，则重复本步骤；
(2)根据集合数据中的头信息，所述头信息为集合数据中的成员数n，监控系统对集合数据进行判断，记接收的集合数据当前到达的成员数为scurrent，若scurrent＝n，则监控系统将集合数据存储到分布式存储系统中，进入步骤(3)，若scurrent＜n，则返回步骤(1)；
(3)监控系统将集合数据中在分布式存储系统中的消息，所述消息为集合数据在分布式存储系统中的表名与行、列位置，发送至分布式消息系统中，分布式消息系统将接收的消息写入分布式消息系统的消息队列Q中，记当前分布式消息系统队列中的所有消息为Icurrent，设定一个消息队列Q的长度阈值为Lmax，并记当前消息队列的长度为Lcurrent，根据消息队列Q的长度阈值Lmax，对消息队列Q的长度进行判断，若Lcurrent≥Lmax，则将Icurrent中的Lcurrent/2的消息存储到分布式消息系统的磁盘中，并记存储至磁盘中的消息为Istore，重复本步骤，若Lcurrent＝0，则访问分布式消息系统的磁盘，并对磁盘上的消息进行判断，若磁盘上存在消息Istore，则将消息Istore写入消息队列Q中，重复本步骤，若磁盘上不存在消息Istore，则返回步骤(1)，若Lmax＞Lcurrent＞0，则进行步骤(4)；
(4)监控系统访问分布式存储系统，对分布式存储系统的写入队列长度进行判断，若wcurrent＜wmax，进入步骤(5)，若wcurrent≥wmax，重复本步骤；
(5)分布式计算系统从分布式消息系统队列中Q中获取消息，设定分布式计算系统最少处理的消息阈值为Lmin，获取消息的时间阈值为tmmax，记当前获取消息的等待时间为twait，对分布式消息系统中的消息队列Q进行判断，若分布式消息系统的消息队列Q中Lcurrent≥Lmin，且twait≤tmax，则分布式计算系统从分布式消息系统的消息队列Q中获取消息，进入步骤(6)，若分布式消息系统的队列Q中Lcurrent＜Lmin，或twait＞tmax，则放弃本次获取的消息，返回上述步骤(2)；
(6)分布式计算系统根据获取的消息，从分布式存储系统中获取相应的集合数据，并对从分布式存储系统中获取的集合数据进行判断，若分布式存储系统中存在与获取的消息相对应的集合数据，则进行步骤(7)，若分布式存储系统中不存在与获取的消息相对应的集合数据，则返回上述步骤(2)；
(7)分布式计算系统根据步骤(6)获得的集合数据，通过处理算法和业务逻辑对集合数据进行分布式的处理和计算，得到计算结果，并通知监控系统计算完成；
(8)记分布式计算系统写入分布式存储系统的最大等待时间为savemax，当前等待时间为savecurrent，监控系统对分布式计算系统写入分布式存储系统的等待时间进行判断，若savecurrent≥savemax，则返回步骤(6)，若savecurrent＜savemax，则监控系统根据获取的消息，将分布式计算结果存储到分布式存储系统的相应位置。
CN201710087603.3A 2017-02-17 2017-02-17 一种大规模流式集合数据的分布式处理方法 Active CN106990913B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710087603.3A CN106990913B (zh) 2017-02-17 2017-02-17 一种大规模流式集合数据的分布式处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710087603.3A CN106990913B (zh) 2017-02-17 2017-02-17 一种大规模流式集合数据的分布式处理方法

Publications (2)

Publication Number Publication Date
CN106990913A CN106990913A (zh) 2017-07-28
CN106990913B true CN106990913B (zh) 2019-07-26

Family

ID=59413826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710087603.3A Active CN106990913B (zh) 2017-02-17 2017-02-17 一种大规模流式集合数据的分布式处理方法

Country Status (1)

Country Link
CN (1) CN106990913B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804693A (zh) * 2018-06-15 2018-11-13 郑州云海信息技术有限公司 一种分布式存储方法和装置
CN109947701B (zh) * 2019-03-28 2023-08-29 深圳市六度人和科技有限公司 基于nsq消息队列的文件导入方法、装置、设备及存储介质
CN112738748A (zh) * 2021-01-12 2021-04-30 华能新能源股份有限公司 一种气象可视化数据队列处理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105007330A (zh) * 2015-08-04 2015-10-28 电子科技大学 分布式流数据存储系统的存储资源调度模型的建模方法
CN105072196A (zh) * 2015-08-27 2015-11-18 携程计算机技术（上海）有限公司 分布式数据包存储、回溯方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9159442B2 (en) * 2011-11-11 2015-10-13 Microchip Technology Incorporated Serial memory with fast read with look-ahead

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105007330A (zh) * 2015-08-04 2015-10-28 电子科技大学 分布式流数据存储系统的存储资源调度模型的建模方法
CN105072196A (zh) * 2015-08-27 2015-11-18 携程计算机技术（上海）有限公司 分布式数据包存储、回溯方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
大数据流式计算:关键技术及系统实例;孙大为等;《软件学报》;20140123;第839-859页
海量气象数据实时解析与存储系统的设计与实现;王若曈等;《计算机工程与科学》;20151130;第37卷(第11期);第2045-2054页

Also Published As

Publication number Publication date
CN106990913A (zh) 2017-07-28

Similar Documents

Publication Publication Date Title
CN112181971B (zh) 一种基于边缘的联邦学习模型清洗和设备聚类方法、系统
Yu et al. Intelligent edge: Leveraging deep imitation learning for mobile edge computation offloading
CN106951926A (zh) 一种混合架构的深度学习系统方法及装置
CN104881466B (zh) 数据分片的处理以及垃圾文件的删除方法和装置
CN106506266B (zh) 基于GPU、Hadoop/Spark混合计算框架的网络流量分析方法
CN106990913B (zh) 一种大规模流式集合数据的分布式处理方法
JP2019513246A (ja) ランダムフォレストモデルの訓練方法、電子装置及び記憶媒体
CA2386272A1 (en) Collaborative design
CN103077070B (zh) 云计算管理系统以及云计算系统的管理方法
CN109726004B (zh) 一种数据处理方法及装置
TW201717066A (zh) 叢集運算架構的資源規劃方法、系統及裝置
CN107085743A (zh) 一种基于国产众核处理器的深度学习算法实现方法与平台
CN103631873B (zh) 一种数据压缩方法及存储系统
Li et al. Research on QoS service composition based on coevolutionary genetic algorithm
CN115150471B (zh) 数据处理方法、装置、设备、存储介质及程序产品
CN108491255B (zh) 自助式MapReduce数据优化分配方法及系统
CN106502856B (zh) 一种信息处理方法及装置
CN107528731B (zh) 应用于ns3并行仿真的网络分割优化算法
CN105023170A (zh) 一种点击流数据的处理方法及装置
CN112199154A (zh) 一种基于分布式协同采样中心式优化的强化学习训练系统及方法
CN104717439B (zh) 视频存储系统中数据流量控制方法及其装置
CN105049365A (zh) 一种多核多线程入侵检测设备的自适应调频节能方法
CN109857563A (zh) 任务执行方法、装置和任务执行系统
Jiang et al. AMS: Adaptive multiget scheduling algorithm for distributed key-value stores
CN108228323A (zh) 基于数据本地性的Hadoop任务调度方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant