CN106990913A - 一种大规模流式集合数据的分布式处理方法 - Google Patents

一种大规模流式集合数据的分布式处理方法 Download PDF

Info

Publication number
CN106990913A
CN106990913A CN201710087603.3A CN201710087603A CN106990913A CN 106990913 A CN106990913 A CN 106990913A CN 201710087603 A CN201710087603 A CN 201710087603A CN 106990913 A CN106990913 A CN 106990913A
Authority
CN
China
Prior art keywords
distributed
message
current
collective data
max
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710087603.3A
Other languages
English (en)
Other versions
CN106990913B (zh
Inventor
王建民
龙明盛
王珏
黄向东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201710087603.3A priority Critical patent/CN106990913B/zh
Publication of CN106990913A publication Critical patent/CN106990913A/zh
Application granted granted Critical
Publication of CN106990913B publication Critical patent/CN106990913B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device

Abstract

本发明涉及一种大规模流式集合数据的分布式处理方法，属于计算机数据处理技术领域。首先基于分布式消息系统记录流式集合数据的完备状态，如果流式集合数据完备则消息系统生成对应的消息，分布式计算系统从分布式消息系统中提取流式集合数据的状态消息，将获取的流式集合数据存储到分布式存储系统，根据具体的处理算法和业务逻辑进行分布式处理和计算，并将处理结果存储到分布式存储系统中，完成对流式集合数据的处理。本发明方法可以有效的控制流式集合数据的处理流程，并利用集合数据的批量式计算提高系统的资源利用率。本方法可以快速、有效地处理目前日益增长的流式集合数据，十分适用于工业物联网、气象信息网等典型的大数据应用场景。

Description

一种大规模流式集合数据的分布式处理方法
技术领域
本发明涉及一种大规模流式集合数据的分布式处理方法，属于计算机数据处理技术领域。
背景技术
随着大数据和物联网技术的发展以及在多个关键领域的普及，在工业互联网、气象信息网等重要应用领域中实时产生着大规模流式集合数据。流式集合数据的特点是：不同集合的数据成员都流式地产生，但仅当每个集合中的数据成员全部完备才可以进行处理。例如，在智慧气象领域中极为重要的集合预报数据，需要按照大气动力学方程的多个初始条件计算气象模式解，得到的多个数值解将构成一个完整的集合，而不同集合数据在全球各地的气象部门中是以流式方式产生的；要进行集合预报，就需要每个集合中的所有数据成员都到齐才可以进行。对于大规模流式集合数据这一重要的数据类型，现有的单机系统和简单的分布式系统都无法高效地处理，成为制约相关领域技术升级和业务增强的瓶颈之一。在复杂的数据产生环境下，如何快速有效的处理大规模流式集合数据，已成为分布式系统和大数据处理领域的一个重要问题。
面对如今庞大的计算任务，采用分布式计算系统的方案在工业界得到了广泛认可，如国内的百度、阿里巴巴、腾讯等都部署了大规模的分布式计算系统，用于海量数据的高效处理。随着分布式计算系统在各行各业优越的表现，一方面分布式计算系统的解决方案越来越多，同时越来越成熟，另一方面绝大部分的分布式计算系统面向大众提供开源的代码，降低了分布式计算系统使用的门槛，方便对分布式计算系统进行更好的学习使用和改进。虽然使用分布式计算系统进行大规模数据的高效处理已经成为主流的大数据解决方案，如何对大规模流式集合数据这一新的数据类型进行高效处理和持久化仍然是一个开放性问题，已经成为工业界聚焦的重要问题，也是大数据的前沿课题之一。
发明内容
本发明的目的是提出一种大规模流式集合数据的分布式处理方法，针对目前大规模流式集合数据处理的问题，采用分布式消息系统记录集合数据完备状态，采用分布式存储系统对流式集合数据持久化，采用分布式计算系统进行批量高效处理，上述三个系统共同实现大规模流式集合数据的高效处理和存储。
本发明提出的大规模流式集合数据的分布式处理方法，包括以下步骤：
(1)监控系统从数据源接收集合数据,将接收的集合数据记为 记当前分布式存储系统的写入队列长度为wcurrent，分布式存储系统的最大写入队列长度为wmax，对当前分布式存储系统的写入队列长度进行判断，若0＜wcurrent＜wmax，则进入步骤(2)；若wcurrent≥wmax，则监控系统将接收的集合数据写入监控系统的磁盘，并记写入磁盘的集合数据为sstore，继续接收集合数据，重复本步骤，若wcurrent＝0，则访问磁盘上的sstore，并对磁盘上的sstore进行判断，若sstore存在，则进入步骤(2)，若sstore不存在，则重复本步骤；
(2)根据集合数据中的头信息，即集合数据中的成员数n，监控系统对集合数据进行判断，记接收的集合数据当前到达的成员数为scurrent，若scurrent＝n，则监控系统将集合数据存储到分布式存储系统中，进入步骤(3)，若scurrent＜n，则返回步骤(1)；
(3)监控系统将集合数据在分布式存储系统中的消息，即集合数据在分布式存储系统中的表名与行、列位置，发送至分布式消息系统中，分布式消息系统将接收的消息写入分布式消息系统的消息队列Q中，记当前分布式消息系统队列中的所有消息为Icurrent，设定一个消息队列Q的长度阈值为Lmax，并记当前消息队列的长度为Lcurrent，根据消息队列Q的长度阈值Lmax，对消息队列Q的长度进行判断，若Lcurrent≥Lmax，则将Icurrent中的Lcurrent/2的消息存储到分布式消息系统的磁盘中，并记存储至磁盘中的消息为Istore，重复本步骤，若Lcurrent＝0，则访问分布式消息系统的磁盘，并对磁盘上的消息进行判断，若磁盘上存在消息Istore，则将消息Istore写入消息队列Q中，重复本步骤，若磁盘上不存在消息Istore，则返回步骤(1)，若Lmax＞Lcurrent＞0，则进行步骤(4)；
(4)监控系统访问分布式存储系统，对分布式存储系统的写入队列长度进行判断，若wcurrent＜wmax，进入步骤(5)，若wcurrent≥wmax，重复本步骤；
(5)分布式计算系统从分布式消息系统队列中Q中获取消息，即集合数据S在分布式存储系统中的表名以及行、列位置，设定分布式计算系统最少处理的消息阈值为Lmin，获取消息的时间阈值为tmax，记当前获取消息的等待时间为twait，对分布式消息系统中的消息队列Q进行判断，若分布式消息系统的消息队列Q中Lcurrent≥Lmin，且twait≤tmax，则分布式计算系统从分布式消息系统的消息队列Q中获取消息，进入步骤(6)，若分布式消息系统的队列Q中Lcurrent＜Lmin，或twait＞tmax，则放弃本次获取的消息，返回上述步骤(2)；
(6)分布式计算系统根据获取的消息，即集合数据S在分布式存储系统中的表名以及行、列位置，从分布式存储系统中获取相应的集合数据，并对从分布式存储系统中获取的集合数据进行判断，若分布式存储系统中存在与获取的消息相对应的集合数据，则进行步骤(7)，若分布式存储系统中不存在与获取的消息相对应的集合数据，则返回上述步骤(2)；
(7)分布式计算系统根据步骤(6)获得的集合数据，通过处理算法和业务逻辑对集合数据进行分布式的处理和计算，得到计算结果，并通知监控系统计算完成；
(8)记分布式计算系统写入分布式存储系统的最大等待时间为savemax,当前等待时间为savecurrent，监控系统对分布式计算系统写入分布式存储系统的等待时间进行判断，若savecurrent≥savemax，则返回步骤(6)，若savecurrent＜savemax，则监控系统根据获取的消息，即集合数据在分布式存储系统中的表名以及行、列位置，将分布式计算结果存储到分布式存储系统的相应位置。
本发明提出的大规模流式集合数据的分布式处理方法，其优点是：
1、本发明提出的大规模流式集合数据的分布式处理方法，可以有效的控制流式集合数据的处理流程，并利用集合数据的批量式计算提高系统的资源利用率。
2、本发明的大规模流式集合数据的分布式处理方法，基于分布式计算系统设计，可以快速、有效地处理目前日益增长的流式集合数据，并结合可视化界提供系统参数调整，降低了系统的使用门槛。
3、本发明的大规模流式集合数据的分布式处理方法，其中的分布式消息系统、分布式计算系统、分布式存储系统均支持快速动态的拓展，可迭代计算，十分适用于工业物联网、气象信息网等典型的大数据应用场景。
附图说明
图1是本发明提出的大规模流式集合数据的分布式处理方法的功能框架图。
图2是本发明方法中各步骤的流程框图。
图3是本发明方法中步骤(1)的流程框图。
图4是本发明方法中步骤(2)的流程框图。
图5是本发明方法中步骤(3)的流程框图。
图6是本发明方法中步骤(4)的流程框图。
图7是本发明方法中步骤(5)的流程框图。
图8是本发明方法中步骤(6)的流程框图。
图9是本发明方法中步骤(7)的流程框图。
图10是本发明方法中步骤(8)的流程框图。
具体实施方式
本发明提出的大规模流式集合数据的分布式处理方法，其功能框架图如图1所示，其各步骤的流程框图如图2所示，包括以下步骤：
(1)监控系统从数据源接收集合数据,将接收的集合数据记为 记当前分布式存储系统的写入队列长度为wcurrent，分布式存储系统的最大写入队列长度为wmax，由于需要往分布式存储系统写入数据，监控系统需要访问分布式存储系统，根据分布式存储系统的写入压力，决定是否直接往分布式存储系统写入数据。对当前分布式存储系统的写入队列长度进行判断，若0＜wcurrent＜wmax，则进入步骤(2)；若wcurrent≥wmax，则监控系统将接收的集合数据写入监控系统的磁盘，并记写入磁盘的集合数据为sstore，继续接收集合数据，重复本步骤，若wcurrent＝0，则访问磁盘上的sstore，并对磁盘上的sstore进行判断，若sstore存在，则进入步骤(2)，若sstore不存在，则重复本步骤，其流程框图如图3所示；
(2)根据集合数据中的头信息，即集合数据中的成员数n，监控系统对集合数据进行判断，记接收的集合数据当前到达的成员数为scurrent，若scurrent＝n，则监控系统将集合数据存储到分布式存储系统中，进入步骤(3)，若scurrent＜n，则返回步骤(1)，其流程框图如图4所示；
(3)监控系统将集合数据在分布式存储系统中的消息，即集合数据在分布式存储系统中的表名与行、列位置，发送至分布式消息系统中，分布式消息系统将接收的消息写入分布式消息系统的消息队列Q中，记当前分布式消息系统队列中的所有消息为Icurrent，设定一个消息队列Q的长度阈值为Lmax，并记当前消息队列的长度为Lcurrent，根据消息队列Q的长度阈值Lmax，对消息队列Q的长度进行判断，若Lcurrent≥Lmax，则将Icurrent中的Lcurrent/2的消息存储到分布式消息系统的磁盘中，并记存储至磁盘中的消息为Istore，重复本步骤，若Lcurrent＝0，则访问分布式消息系统的磁盘，并对磁盘上的消息进行判断，若磁盘上存在消息Istore，则将消息Istore写入消息队列Q中，重复本步骤，若磁盘上不存在消息Istore，则返回步骤(1)，若Lmax＞Lcurrent＞0，则进行步骤(4)，其流程框图如图5所示；
(4)由于需要往分布式存储系统写入数据，监控系统访问分布式存储系统，对分布式存储系统的写入队列长度进行判断，若wcurrent＜wmax，进入步骤(5)，若wcurrent≥wmax，此时分布式存储系统写入压力过大，分布式计算系统等待分布式存储系统完成写入任务，重复本步骤，其流程框图如图6所示；
(5)分布式计算系统从分布式消息系统队列中Q中获取消息，即集合数据S在分布式存储系统中的表名以及行、列位置，设定分布式计算系统最少处理的消息阈值为Lmin，获取消息的时间阈值为tmax，记当前获取消息的等待时间为twait，对分布式消息系统中的消息队列Q进行判断，若分布式消息系统的消息队列Q中Lcurrent≥Lmin，且twait≤tmax，则分布式计算系统从分布式消息系统的消息队列Q中获取消息，进入步骤(6)，若分布式消息系统的队列Q中Lcurrenr＜Lmin，或twait＞tmax，则放弃本次获取的消息，返回上述步骤(2)，其流程框图如图7所示；
(6)分布式计算系统根据获取的消息，即集合数据S在分布式存储系统中的表名以及行、列位置，从分布式存储系统中获取相应的集合数据，并对从分布式存储系统中获取的集合数据进行判断，若分布式存储系统中存在与获取的消息相对应的集合数据，则进行步骤(7)，若分布式存储系统中不存在与获取的消息相对应的集合数据，则返回上述步骤(2)，其流程框图如图8所示；
(7)分布式计算系统根据步骤(6)获得的集合数据，通过处理算法和业务逻辑对集合数据进行分布式的处理和计算，得到计算结果，并通知监控系统计算完成，其流程框图如图9所示；
(8)由于集合数据不断的流式到来，因此分布式计算完成后，分布式存储系统压力可能过大，监控系统需要协调两者的处理。记分布式计算系统写入分布式存储系统的最大等待时间为savemax,当前等待时间为savecurrent，监控系统对分布式计算系统写入分布式存储系统的等待时间进行判断，若savecurrent≥savemax，则返回步骤(6)，若savecurrent＜savemax，则监控系统根据获取的消息，即集合数据在分布式存储系统中的表名以及行、列位置，将分布式计算结果存储到分布式存储系统的相应位置，其流程框图如图10所示。

Claims (1)

1.一种大规模流式集合数据的分布式处理方法，其特征在于该处理方法包括以下步骤：
(1)监控系统从数据源接收集合数据,将接收的集合数据记为 记当前分布式存储系统的写入队列长度为wcurrent，分布式存储系统的最大写入队列长度为wmax，对当前分布式存储系统的写入队列长度进行判断，若0＜wcurrent＜wmax，则进入步骤(2)；若Wcurrent≥wmax，则监控系统将接收的集合数据写入监控系统的磁盘，并记写入磁盘的集合数据为sstore，继续接收集合数据，重复本步骤，若Wcurrent＝0，则访问磁盘上的sstore，并对磁盘上的sstore进行判断，若sstore存在，则进入步骤(2)，若sstore不存在，则重复本步骤；
(2)根据集合数据中的头信息，即集合数据中的成员数n，监控系统对集合数据进行判断，记接收的集合数据当前到达的成员数为scurrent，若scurrent＝n，则监控系统将集合数据存储到分布式存储系统中，进入步骤(3)，若scurrent＜n，则返回步骤(1)；
(3)监控系统将集合数据在分布式存储系统中的消息，即集合数据在分布式存储系统中的表名与行、列位置，发送至分布式消息系统中，分布式消息系统将接收的消息写入分布式消息系统的消息队列Q中，记当前分布式消息系统队列中的所有消息为Icurrent，设定一个消息队列Q的长度阈值为Lmax，并记当前消息队列的长度为Lcurrent，根据消息队列Q的长度阈值Lmax，对消息队列Q的长度进行判断，若Lcurrent≥Lmax，则将Icurrent中的Lcurrent/2的消息存储到分布式消息系统的磁盘中，并记存储至磁盘中的消息为Istore，重复本步骤，若Lcurrent＝0，则访问分布式消息系统的磁盘，并对磁盘上的消息进行判断，若磁盘上存在消息Istore，则将消息Istore写入消息队列Q中，重复本步骤，若磁盘上不存在消息Istore，则返回步骤(1)，若Lmax＞Lcurrent＞0，则进行步骤(4)；
(4)监控系统访问分布式存储系统，对分布式存储系统的写入队列长度进行判断，若wcurrent＜wmax，进入步骤(5)，若wcurrent≥wmax，重复本步骤；
(5)分布式计算系统从分布式消息系统队列中Q中获取消息，即集合数据S在分布式存储系统中的表名以及行、列位置，设定分布式计算系统最少处理的消息阈值为Lmin，获取消息的时间阈值为tmax，记当前获取消息的等待时间为twait，对分布式消息系统中的消息队列Q进行判断，若分布式消息系统的消息队列Q中Lcurrent≥Lmin，且twait≤tmax，则分布式计算系统从分布式消息系统的消息队列Q中获取消息，进入步骤(6)，若分布式消息系统的队列Q中Lcurrent＜Lmin，或twait＞tmax，则放弃本次获取的消息，返回上述步骤(2)；
(6)分布式计算系统根据获取的消息，即集合数据S在分布式存储系统中的表名以及行、列位置，从分布式存储系统中获取相应的集合数据，并对从分布式存储系统中获取的集合数据进行判断，若分布式存储系统中存在与获取的消息相对应的集合数据，则进行步骤(7)，若分布式存储系统中不存在与获取的消息相对应的集合数据，则返回上述步骤(2)；
(7)分布式计算系统根据步骤(6)获得的集合数据，通过处理算法和业务逻辑对集合数据进行分布式的处理和计算，得到计算结果，并通知监控系统计算完成；
(8)记分布式计算系统写入分布式存储系统的最大等待时间为savemax,当前等待时间为savecurrent，监控系统对分布式计算系统写入分布式存储系统的等待时间进行判断，若savecurrent≥savemax，则返回步骤(6)，若savecurrent＜savemax，则监控系统根据获取的消息，即集合数据在分布式存储系统中的表名以及行、列位置，将分布式计算结果存储到分布式存储系统的相应位置。
CN201710087603.3A 2017-02-17 2017-02-17 一种大规模流式集合数据的分布式处理方法 Active CN106990913B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710087603.3A CN106990913B (zh) 2017-02-17 2017-02-17 一种大规模流式集合数据的分布式处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710087603.3A CN106990913B (zh) 2017-02-17 2017-02-17 一种大规模流式集合数据的分布式处理方法

Publications (2)

Publication Number Publication Date
CN106990913A true CN106990913A (zh) 2017-07-28
CN106990913B CN106990913B (zh) 2019-07-26

Family

ID=59413826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710087603.3A Active CN106990913B (zh) 2017-02-17 2017-02-17 一种大规模流式集合数据的分布式处理方法

Country Status (1)

Country Link
CN (1) CN106990913B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804693A (zh) * 2018-06-15 2018-11-13 郑州云海信息技术有限公司 一种分布式存储方法和装置
CN109947701A (zh) * 2019-03-28 2019-06-28 深圳市六度人和科技有限公司 基于nsq消息队列的文件导入方法、装置、设备及存储介质
CN112738748A (zh) * 2021-01-12 2021-04-30 华能新能源股份有限公司 一种气象可视化数据队列处理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130121098A1 (en) * 2011-11-11 2013-05-16 Microchip Technology Incorporated Serial Memory with Fast Read with Look-Ahead
CN105007330A (zh) * 2015-08-04 2015-10-28 电子科技大学 分布式流数据存储系统的存储资源调度模型的建模方法
CN105072196A (zh) * 2015-08-27 2015-11-18 携程计算机技术（上海）有限公司 分布式数据包存储、回溯方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130121098A1 (en) * 2011-11-11 2013-05-16 Microchip Technology Incorporated Serial Memory with Fast Read with Look-Ahead
CN105007330A (zh) * 2015-08-04 2015-10-28 电子科技大学 分布式流数据存储系统的存储资源调度模型的建模方法
CN105072196A (zh) * 2015-08-27 2015-11-18 携程计算机技术（上海）有限公司 分布式数据包存储、回溯方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙大为等: "大数据流式计算:关键技术及系统实例", 《软件学报》 *
王若曈等: "海量气象数据实时解析与存储系统的设计与实现", 《计算机工程与科学》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804693A (zh) * 2018-06-15 2018-11-13 郑州云海信息技术有限公司 一种分布式存储方法和装置
CN109947701A (zh) * 2019-03-28 2019-06-28 深圳市六度人和科技有限公司 基于nsq消息队列的文件导入方法、装置、设备及存储介质
CN109947701B (zh) * 2019-03-28 2023-08-29 深圳市六度人和科技有限公司 基于nsq消息队列的文件导入方法、装置、设备及存储介质
CN112738748A (zh) * 2021-01-12 2021-04-30 华能新能源股份有限公司 一种气象可视化数据队列处理系统

Also Published As

Publication number Publication date
CN106990913B (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
CN109885397B (zh) 一种边缘计算环境中时延优化的负载任务迁移算法
CN103345514B (zh) 大数据环境下的流式数据处理方法
US10778707B1 (en) Outlier detection for streaming data using locality sensitive hashing
CN104881466B (zh) 数据分片的处理以及垃圾文件的删除方法和装置
CN106951926A (zh) 一种混合架构的深度学习系统方法及装置
CN106547882A (zh) 一种智能电网中营销大数据的实时处理方法及系统
CN110969198A (zh) 深度学习模型的分布式训练方法、装置、设备及存储介质
CN104346458B (zh) 数据存储方法和存储设备
CN104252457B (zh) 一种用于对数据集合进行管理的方法与设备
CN106990913A (zh) 一种大规模流式集合数据的分布式处理方法
Kchaou et al. Towards an offloading framework based on big data analytics in mobile cloud computing environments
CN109446225B (zh) 数据缓存方法、装置、计算机设备及存储介质
Li et al. Research on QoS service composition based on coevolutionary genetic algorithm
CN116112563A (zh) 一种基于流行度预测的双策略自适应缓存替换方法
CN111813517A (zh) 任务队列的分配方法、装置、计算机设备及介质
CN116055241A (zh) 一种分布式智能家居网络的通信方法及系统
CN104050189B (zh) 页面共享处理方法及装置
Zhang et al. A locally distributed mobile computing framework for dnn based android applications
CN106685856A (zh) 智能变电站海量网络报文处理方法、系统和设备
CN108228323A (zh) 基于数据本地性的Hadoop任务调度方法及装置
CN114510708A (zh) 实时数据仓库构建、异常检测方法、装置、设备及产品
CN106970840A (zh) 一种结合任务调度的软硬件划分方法
CN111046321B (zh) 光伏电站运维策略优化方法和装置
CN113806077A (zh) 基于人工智能的数据中心服务器调控方法及装置
CN114090275A (zh) 一种数据处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant