CN108549583B - 大数据处理方法、装置、服务器及可读存储介质 - Google Patents

大数据处理方法、装置、服务器及可读存储介质 Download PDF

Info

Publication number
CN108549583B
CN108549583B CN201810343986.0A CN201810343986A CN108549583B CN 108549583 B CN108549583 B CN 108549583B CN 201810343986 A CN201810343986 A CN 201810343986A CN 108549583 B CN108549583 B CN 108549583B
Authority
CN
China
Prior art keywords
task
processing
big data
parallel
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810343986.0A
Other languages
English (en)
Other versions
CN108549583A (zh
Inventor
姜光植
严雪枫
谢川
黄瀚林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhiyun Technology Co.,Ltd.
Original Assignee
Zhiyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhiyun Technology Co ltd filed Critical Zhiyun Technology Co ltd
Priority to CN201810343986.0A priority Critical patent/CN108549583B/zh
Publication of CN108549583A publication Critical patent/CN108549583A/zh
Application granted granted Critical
Publication of CN108549583B publication Critical patent/CN108549583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multi Processors (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种大数据处理方法、装置、服务器及可读存储介质。该方法包括：获取待处理的大数据处理任务；根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型，所述任务类型包括串行任务和并行任务；按照所述任务类型的处理顺序，建立大数据处理列表；基于所述大数据处理列表，将每个串行任务通过主线程进行串行处理，将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，并将并行处理后的任务数据串行应用于下一处理顺序的串行任务中。由此，能够将不同采集设备的处理任务分类处理，提高了处理效率，充分发挥多核处理器的优点，有效提高服务器的负载能力，从而承担更多的大数据处理任务。

Description

大数据处理方法、装置、服务器及可读存储介质
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种大数据处理方法、装置、服务器及可读存储介质。
背景技术
大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。
大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。现有的大数据处理限于负载均衡的处理，无法将不同采集设备的处理任务分类处理，处理效率低。
发明内容
为了克服现有技术中的上述不足，本发明的目的在于提供一种大数据处理方法、装置、服务器及可读存储介质，能够将不同采集设备的处理任务分类处理，提高了处理效率，充分发挥多核处理器的优点，有效提高服务器的负载能力，从而承担更多的大数据处理任务。
为了实现上述目的，本发明实施例采用的技术方案如下：
本发明实施例提供一种大数据处理方法，应用于服务器，所述方法包括：
获取待处理的大数据处理任务；
根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型，所述任务类型包括串行任务和并行任务；
按照所述任务类型的处理顺序，建立大数据处理列表；
基于所述大数据处理列表，将每个串行任务通过主线程进行串行处理，将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，并将并行处理后的任务数据串行应用于下一处理顺序的串行任务中。
可选地，所述服务器中预先配置有每个任务的处理策略，所述处理策略包括并行处理策略和串行处理策略，其中，所述并行处理策略表征该任务只与上个处理顺序的任务相关，所述串行处理策略表征该任务与其它采集设备的任务相关，所述根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型的步骤，包括：
获取每个大数据处理任务的处理策略；
根据所述处理策略确定每个大数据处理任务的任务类型。
可选地，所述将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，包括：
获取各个处理器核心的空闲率；
根据每个处理器核心的空闲率，确定分配给每个处理器核心的同一并行任务的任务数量；
将所述同一并行任务按照确定的任务数量分别分配给对应的处理器核心进行并行处理。
可选地，所述根据每个处理器核心的占用率，确定分配给每个处理器核心的同一并行任务的任务数量，包括：
计算每个处理器核心的空闲参数，其中，所述空闲参数为每个处理器核心的空闲率和所有处理器核心的总空闲率的比值；
根据每个处理器核心的空闲参数和同一并行任务的任务总数量，确定分配给每个处理器核心的同一并行任务的任务数量。
可选地，所述服务器中还配置有每个并行任务的任务级别与处理器核心的频率之间的对应关系，所述将所述同一并行任务按照确定的任务数量分别分配给对应的处理器核心进行并行处理，包括：
将所述同一并行任务按照确定的任务数量分别分配给对应的处理器核心；
获取所述并行任务的任务级别；
根据所述任务级别对应调整所述处理器核心的频率，并控制每个所述处理器核心基于调整后的频率对分配的所述并行任务进行处理。
第二方面，本发明实施例还提供一种大数据处理装置，应用于服务器，所述装置包括：
获取模块，用于获取待处理的大数据处理任务；
确定模块，用于根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型，所述任务类型包括串行任务和并行任务；
建立模块，用于按照所述任务类型的处理顺序，建立大数据处理列表；
任务处理模块，用于基于所述大数据处理列表，将每个串行任务通过主线程进行串行处理，将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，并将并行处理后的任务数据串行应用于下一处理顺序的串行任务中。
第三方面，本发明实施例还提供一种服务器，所述服务器包括：
存储介质；
处理器；以及
大数据处理装置，所述装置存储于所述存储介质中并包括由所述处理器执行的软件功能模块，所述装置包括：
获取模块，用于获取待处理的大数据处理任务；
确定模块，用于根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型，所述任务类型包括串行任务和并行任务；
建立模块，用于按照所述任务类型的处理顺序，建立大数据处理列表；
任务处理模块，用于基于所述大数据处理列表，将每个串行任务通过主线程进行串行处理，将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，并将并行处理后的任务数据串行应用于下一处理顺序的串行任务中。
第四方面，本发明实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述的大数据处理方法。
相对于现有技术而言，本发明具有以下有益效果：
本发明实施例提供一种大数据处理方法、装置、服务器及可读存储介质，通过获取待处理的大数据处理任务，根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型，并按照所述任务类型的处理顺序，建立大数据处理列表，而后基于所述大数据处理列表，将每个串行任务通过主线程进行串行处理，将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，并将并行处理后的任务数据串行应用于下一处理顺序的串行任务中。由此，通过基于采集设备的设备类型将不同采集设备的大数据处理任务分类处理，提高了处理效率，充分发挥多核处理器的优点，有效提高服务器的负载能力，从而承担更多的大数据处理任务。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
图1为本发明实施例提供的大数据处理方法的一种流程示意图；
图2为图1中所示的步骤S220包括的各个子步骤的一种流程示意图；
图3为图1中所示的步骤S230包括的各个子步骤的一种流程示意图；
图4为本发明实施例提供的大数据处理装置的一种功能模块图；
图5为本发明实施例提供的服务器的一种结构示意框图。
图标：100-服务器；110-总线；120-处理芯片；130-存储介质；140-总线接口；150-网络适配器；160-用户接口；200-大数据处理装置；210-获取模块；220-确定模块；230-建立模块；240-任务处理模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
请参阅图1，为本发明实施例提供的大数据处理方法的一种流程示意图。所应说明的是，本发明实施例提供的大数据处理方法不以图1及以下所述的具体顺序为限制。所述方法的具体流程如下：
步骤S210，获取待处理的大数据处理任务。
本实施例中，所述待处理的大数据处理任务可以为不同采集设备采集到的历史数据的分析任务。
步骤S220，根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型。
本实施例中，所述串行任务可以理解为该任务只能按照任务先后顺序进行处理，所述并行任务可以理解为该任务可以与同一并行任务同时进行处理。作为一种实施方式，所述大数据处理任务的拆分方式请参阅图2，所述步骤S220可以进一步包括以下子步骤：
子步骤S221，获取每个大数据处理任务的处理策略。
本实施例中，在步骤S220之前预先配置有每个任务的处理策略，所述处理策略可以包括并行处理策略和串行处理策略。所述并行处理策略用于表征该任务只与上个处理顺序的任务相关，也即同一采集设备的任务之间的行为是独立不干扰的，所述串行处理策略用于表征该任务与其它采集设备的任务相关，也即同一采集设备的任务之间的行为是互相关联的。
子步骤S222，根据所述处理策略将所述大数据处理任务拆分为串行任务和并行任务。
本实施例中，如果查找到的某个大数据处理任务的处理策略为并行处理策略，则将该大数据处理任务确定为并行任务，相应地，如果查找到的某个大数据处理任务的处理策略为串行处理策略，则将该大数据处理任务确定为串行任务。
步骤S230，按照所述任务类型的处理顺序，建立大数据处理列表。
本实施例中，所述大数据处理列表包括每个大数据任务对应的顺序标识。
步骤S240，基于所述大数据处理列表，将每个串行任务通过主线程进行串行处理，将同一并行任务分配到服务器的各个处理器核心上进行并行处理，并将并行处理后的任务数据串行应用于下一处理顺序的串行任务中。
本实施例中，针对每个串行任务，通过主线程进行独立处理，针对同一并行任务，可以分配到各个处理器核心上进行并行处理，然后将并行处理后的任务数据串行应用于下一处理顺序的串行任务中。例如，所述大数据处理任务的处理顺序依次为A、B、C、D，由于A和D为串行任务，B、C为并行任务，因此首先通过主线程对A这个步骤进行独立处理，然后将负载最重的并行任务B、C进行并行多核处理，可以将然后将处理后的C步骤之后的全部数据归拢统一应用于D，从而实现对A、B、C、D的任务处理。
基于上述步骤，通过区分大数据处理任务的并发可能性，将大数据处理任务拆分为并行任务和串行任务，从而将拆分出的并行任务进行并行计算，充分发挥多核处理器的优点，有效提高服务器100的负载能力。
请参阅图3，所述步骤S240可以包括以下子步骤：
子步骤S241，获取各个处理器核心的空闲率。
本实施例中，每个处理器核心的空闲率可以理解为除去占用率剩下的可使用资源，处理器核心的占用率为运行的程序占用的CPU资源，表示在某个时间点的运行程序的情况。占用率越高，表面在这个时间上运行了很多程序，反之较少。目前处理器核心都是分时间片使用的：比如A进程占用10ms，然后B进程占用30ms，然后空闲60ms，再又是A进程占10ms，B进程占30ms，空闲60ms。如果在一段时间内都是如此，那么这段时间内的占用率为40％，也即空闲率为60％。
子步骤S242，根据每个处理器核心的空闲率，确定分配给每个处理器核心的同一并行任务的任务数量。
作为一种实施方式，首先计算每个处理器核心的空闲参数，所述空闲参数为每个处理器核心的空闲率和所有处理器核心的总空闲率的比值，然后根据每个处理器核心的空闲参数和同一并行任务的任务总数量，确定分配给每个处理器核心的同一并行任务的任务数量。例如，一共有处理器核心X1，处理器核心X2，处理器核心X3以及处理器核心X4，处理器核心X1的空闲率为40％，处理器核心X2的空闲率为60％，处理器核心X3的空闲率为70％，处理器核心X4的空闲率为30％，那么总空闲率则为200％，所述处理器核心X1的空闲参数为0.2，所述处理器核心X2的空闲参数为0.3，所述处理器核心X3的空闲参数为0.35，所述处理器核心X4的空闲参数为0.15。如果同一并行任务，例如B、C一共有100个，那么分配给所述处理器核心X1的任务数量为20，分配给所述处理器核心X2的任务数量为30，分配给所述处理器核心X3的任务数量为35，分配给所述处理器核心X4的任务数量为15。
子步骤S243，将所述同一并行任务按照确定的任务数量分别分配给对应的处理器核心进行并行处理。
作为一种实施方式，还可以预先配置每个并行任务的任务级别与处理器核心的频率之间的对应关系，在将所述同一并行任务按照确定的任务数量分别分配给对应的处理器核心之后，获取所述并行任务的任务级别，然后根据所述任务级别对应调整所述处理器核心的频率，并控制每个所述处理器核心基于调整后的频率对分配的所述并行任务进行处理。例如，将并行任务B的任务优先级配置为第一优先级，将C的任务优先级配置为第二优先级，第一优先级对应的处理器核心的频率为100％，第二优先级对应的频率为80％，那么当B被分配在某个处理器核心上时，该处理器核心以100％的频率全力参与计算，保证B高效运行。而C被分配在某个处理器核心上，该处理器核心以80％的频率参与计算，在计算的同时能够实现能耗的减少。
基于上述步骤，通过基于采集设备的设备类型将不同采集设备的大数据处理任务分类处理，提高了处理效率，充分发挥多核处理器的优点，有效提高服务器的负载能力，从而承担更多的大数据处理任务。
进一步地，请参阅图4，本发明实施例还提供一种大数据处理装置200，所述装置可以包括：
获取模块210，用于获取待处理的大数据处理任务。
确定模块220，用于根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型，所述任务类型包括串行任务和并行任务。
建立模块230，用于按照所述任务类型的处理顺序，建立大数据处理列表。
任务处理模块240，用于基于所述大数据处理列表，将每个串行任务通过主线程进行串行处理，将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，并将并行处理后的任务数据串行应用于下一处理顺序的串行任务中。
可选地，还可以预先配置有每个任务的处理策略，所述处理策略包括并行处理策略和串行处理策略，其中，所述并行处理策略表征该任务只与上个处理顺序的任务相关，所述串行处理策略表征该任务与其它采集设备的任务相关，所述根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型的方式，包括：
获取每个大数据处理任务的处理策略；
根据所述处理策略确定每个大数据处理任务的任务类型。
可选地，所述将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理的方式，包括：
获取各个处理器核心的空闲率；
根据每个处理器核心的空闲率，确定分配给每个处理器核心的同一并行任务的任务数量；
将所述同一并行任务按照确定的任务数量分别分配给对应的处理器核心进行并行处理。
可以理解的是，本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再重复赘述。
进一步地，请参阅图5，为本发明实施较佳实施例提供的服务器100的一种结构示意框图。如图5所示，服务器100可以由总线110作一般性的总线体系结构来实现。根据服务器100的具体应用和整体设计约束条件，总线110可以包括任意数量的互连总线和桥接。总线110将各种电路连接在一起，这些电路包括处理芯片120、存储介质130和总线接口140。可选地，服务器100可以使用总线接口140将网络适配器150等经由总线110连接。网络适配器150可用于实现服务器100中物理层的信号处理功能，并通过天线实现射频信号的发送和接收。用户接口160可以连接外部设备，例如：键盘、显示器、鼠标或者操纵杆等。总线110还可以连接各种其它电路，如定时源、外围设备、电压调节器或者功率管理电路等，这些电路是本领域所熟知的，因此不再详述。
可以替换的，服务器100也可配置成通用处理系统，例如通称为芯片，该通用处理系统包括：提供处理功能的一个或多个微处理器，以及提供存储介质130的至少一部分的外部存储器，所有这些都通过外部总线体系结构与其它支持电路连接在一起。
可替换的，服务器100可以使用下述来实现：具有处理芯片120、总线接口140、用户接口160的ASIC(专用集成电路)；以及集成在单个芯片中的存储介质130的至少一部分，或者，服务器100可以使用下述来实现：一个或多个FPGA(现场可编程门阵列)、PLD(可编程逻辑器件)、控制器、状态机、门逻辑、分立硬件部件、任何其它适合的电路、或者能够执行本发明通篇所描述的各种功能的电路的任意组合。
其中，处理芯片120负责管理总线110和一般处理(包括执行存储在存储介质130上的软件)。处理芯片120可以使用一个或多个通用处理器和/或专用处理器来实现。处理芯片120的例子包括微处理器、微控制器、DSP处理器和能够执行软件的其它电路。应当将软件广义地解释为表示指令、数据或其任意组合，而不论是将其称作为软件、固件、中间件、微代码、硬件描述语言还是其它。
在图5中存储介质130被示为与处理芯片120分离，然而，本领域技术人员很容易明白，存储介质130或其任意部分可位于服务器100之外。举例来说，存储介质130可以包括传输线、用数据调制的载波波形、和/或与无线节点分离开的计算机制品，这些介质均可以由处理芯片120通过总线接口140来访问。可替换地，存储介质130或其任意部分可以集成到处理芯片120中，例如，可以是高速缓存和/或通用寄存器。
所述处理芯片120可执行上述实施例，具体地，所述存储介质130中可以存储有所述大数据处理装置200，所述处理芯片120可以用于执行所述大数据处理装置200。
综上所述，本发明实施例提供一种大数据处理方法、装置、服务器及可读存储介质，通过获取待处理的大数据处理任务，根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型，并按照所述任务类型的处理顺序，建立大数据处理列表，而后基于所述大数据处理列表，将每个串行任务通过主线程进行串行处理，将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，并将并行处理后的任务数据串行应用于下一处理顺序的串行任务中。由此，通过基于采集设备的设备类型将不同采集设备的大数据处理任务分类处理，提高了处理效率，充分发挥多核处理器的优点，有效提高服务器的负载能力，从而承担更多的大数据处理任务。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的电子设备、服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其它的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (8)

1.一种大数据处理方法，应用于服务器，其特征在于，所述方法包括：
获取待处理的大数据处理任务；
根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型，所述任务类型包括串行任务和并行任务；
按照所述任务类型的处理顺序，建立大数据处理列表；
基于所述大数据处理列表，将每个串行任务通过主线程进行串行处理，将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，并将并行处理后的任务数据串行应用于下一处理顺序的串行任务中；
所述服务器中预先配置有每个任务的处理策略，所述处理策略包括并行处理策略和串行处理策略，其中，所述并行处理策略表征该任务只与上个处理顺序的任务相关，所述串行处理策略表征该任务与其它采集设备的任务相关，所述根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型的步骤，包括：
获取每个大数据处理任务的处理策略；
根据所述处理策略确定每个大数据处理任务的任务类型。
2.根据权利要求1所述的大数据处理方法，其特征在于，所述将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，包括：
获取各个处理器核心的空闲率；
根据每个处理器核心的空闲率，确定分配给每个处理器核心的同一并行任务的任务数量；
将所述同一并行任务按照确定的任务数量分别分配给对应的处理器核心进行并行处理。
3.根据权利要求2所述的大数据处理方法，其特征在于，所述根据每个处理器核心的占用率，确定分配给每个处理器核心的同一并行任务的任务数量，包括：
计算每个处理器核心的空闲参数，其中，所述空闲参数为每个处理器核心的空闲率和所有处理器核心的总空闲率的比值；
根据每个处理器核心的空闲参数和同一并行任务的任务总数量，确定分配给每个处理器核心的同一并行任务的任务数量。
4.根据权利要求2所述的大数据处理方法，其特征在于，所述服务器中还配置有每个并行任务的任务级别与处理器核心的频率之间的对应关系，所述将所述同一并行任务按照确定的任务数量分别分配给对应的处理器核心进行并行处理，包括：
将所述同一并行任务按照确定的任务数量分别分配给对应的处理器核心；
获取所述并行任务的任务级别；
根据所述任务级别对应调整所述处理器核心的频率，并控制每个所述处理器核心基于调整后的频率对分配的所述并行任务进行处理。
5.一种大数据处理装置，应用于服务器，其特征在于，所述装置包括：
获取模块，用于获取待处理的大数据处理任务；
确定模块，用于根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型，所述任务类型包括串行任务和并行任务；
建立模块，用于按照所述任务类型的处理顺序，建立大数据处理列表；
任务处理模块，用于基于所述大数据处理列表，将每个串行任务通过主线程进行串行处理，将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，并将并行处理后的任务数据串行应用于下一处理顺序的串行任务中；
所述服务器中预先配置有每个任务的处理策略，所述处理策略包括并行处理策略和串行处理策略，其中，所述并行处理策略表征该任务只与上个处理顺序的任务相关，所述串行处理策略表征该任务与其它采集设备的任务相关，所述根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型的方式，包括：
获取每个大数据处理任务的处理策略；
根据所述处理策略确定每个大数据处理任务的任务类型。
6.根据权利要求5所述的大数据处理装置，其特征在于，所述将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理的方式，包括：
获取各个处理器核心的空闲率；
根据每个处理器核心的空闲率，确定分配给每个处理器核心的同一并行任务的任务数量；
将所述同一并行任务按照确定的任务数量分别分配给对应的处理器核心进行并行处理。
7.一种服务器，其特征在于，所述服务器包括：
存储介质；
处理器；以及
大数据处理装置，所述装置存储于所述存储介质中并包括由所述处理器执行的软件功能模块，所述装置包括：
获取模块，用于获取待处理的大数据处理任务；
确定模块，用于根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型，所述任务类型包括串行任务和并行任务；
建立模块，用于按照所述任务类型的处理顺序，建立大数据处理列表；
任务处理模块，用于基于所述大数据处理列表，将每个串行任务通过主线程进行串行处理，将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，并将并行处理后的任务数据串行应用于下一处理顺序的串行任务中；
所述服务器中预先配置有每个任务的处理策略，所述处理策略包括并行处理策略和串行处理策略，其中，所述并行处理策略表征该任务只与上个处理顺序的任务相关，所述串行处理策略表征该任务与其它采集设备的任务相关，所述根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型的方式，包括：
获取每个大数据处理任务的处理策略；
根据所述处理策略确定每个大数据处理任务的任务类型。
8.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-4中任意一项所述的大数据处理方法。
CN201810343986.0A 2018-04-17 2018-04-17 大数据处理方法、装置、服务器及可读存储介质 Active CN108549583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810343986.0A CN108549583B (zh) 2018-04-17 2018-04-17 大数据处理方法、装置、服务器及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810343986.0A CN108549583B (zh) 2018-04-17 2018-04-17 大数据处理方法、装置、服务器及可读存储介质

Publications (2)

Publication Number Publication Date
CN108549583A CN108549583A (zh) 2018-09-18
CN108549583B true CN108549583B (zh) 2021-05-07

Family

ID=63515419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810343986.0A Active CN108549583B (zh) 2018-04-17 2018-04-17 大数据处理方法、装置、服务器及可读存储介质

Country Status (1)

Country Link
CN (1) CN108549583B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334049A (zh) * 2019-07-02 2019-10-15 上海联影医疗科技有限公司 数据处理方法、装置、计算机设备及存储介质
CN110287033A (zh) * 2019-07-03 2019-09-27 网易（杭州）网络有限公司 批量任务处理方法、装置、系统、设备和可读存储介质
CN110413397B (zh) * 2019-07-31 2021-09-10 北京智行者科技有限公司 一种面向自动驾驶的任务调度方法
CN111258732B (zh) * 2020-01-13 2023-07-04 中科寒武纪科技股份有限公司 一种数据处理的方法、数据处理装置和电子设备
CN112186613B (zh) * 2020-09-30 2021-12-10 国网北京市电力公司 电缆管理方法、装置以及系统
CN112529470B (zh) * 2020-12-25 2024-03-19 深圳前海微众银行股份有限公司 网站机器人的任务执行方法、装置、设备及存储介质
CN112328436B (zh) * 2021-01-06 2021-04-13 苏州希格玛科技有限公司 一种基于并行处理的数据处理方法
CN112988355B (zh) * 2021-03-31 2023-12-15 深圳市优必选科技股份有限公司 程序任务的调度方法、装置、终端设备及可读存储介质
CN113449142A (zh) * 2021-06-30 2021-09-28 北京百度网讯科技有限公司 信息处理方法及装置、电子设备、存储介质及产品
CN113691840B (zh) * 2021-08-31 2024-07-02 江苏赞奇科技股份有限公司 一种具有高可用率的视频流控制方法及系统
CN114217955A (zh) * 2021-11-22 2022-03-22 浙江大华技术股份有限公司 一种数据处理方法、设备及计算机可读存储介质
CN114791893B (zh) * 2021-12-15 2023-05-09 许磊 一种随机数据访问的串行化系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010037745A1 (en) * 2008-09-30 2010-04-08 International Business Machines Corporation Delegated virtualization across physical partitions of a multi-core processor (mcp)
CN101799750A (zh) * 2009-02-11 2010-08-11 上海芯豪微电子有限公司 一种数据处理的方法与装置
WO2014068950A1 (ja) * 2012-10-31 2014-05-08 日本電気株式会社 データ処理システム、データ処理方法およびプログラム
CN104216684A (zh) * 2013-06-04 2014-12-17 阿里巴巴集团控股有限公司 一种多核并行系统及其数据处理方法
CN104461551A (zh) * 2014-12-16 2015-03-25 芜湖乐锐思信息咨询有限公司 基于数据并行处理的大数据处理系统
JP2016224763A (ja) * 2015-06-01 2016-12-28 日本電気株式会社 並列処理装置、並列処理方法、プログラム
CN107483451A (zh) * 2017-08-25 2017-12-15 西安电子科技大学 基于串并行结构网络安全数据处理方法及系统、社交网络
CN107977444A (zh) * 2017-12-11 2018-05-01 成都博睿德科技有限公司 基于大数据的海量数据并行处理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10203934B2 (en) * 2012-07-11 2019-02-12 Intel Corporation Parallell processing of a single data buffer
US9336024B1 (en) * 2012-12-27 2016-05-10 Google Inc. Clustering for parallel processing
US10133572B2 (en) * 2014-05-02 2018-11-20 Qualcomm Incorporated Techniques for serialized execution in a SIMD processing system
CN107908471B (zh) * 2017-09-26 2021-06-08 聚好看科技股份有限公司 一种任务并行处理方法和处理系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010037745A1 (en) * 2008-09-30 2010-04-08 International Business Machines Corporation Delegated virtualization across physical partitions of a multi-core processor (mcp)
CN101799750A (zh) * 2009-02-11 2010-08-11 上海芯豪微电子有限公司 一种数据处理的方法与装置
WO2014068950A1 (ja) * 2012-10-31 2014-05-08 日本電気株式会社 データ処理システム、データ処理方法およびプログラム
CN104216684A (zh) * 2013-06-04 2014-12-17 阿里巴巴集团控股有限公司 一种多核并行系统及其数据处理方法
CN104461551A (zh) * 2014-12-16 2015-03-25 芜湖乐锐思信息咨询有限公司 基于数据并行处理的大数据处理系统
JP2016224763A (ja) * 2015-06-01 2016-12-28 日本電気株式会社 並列処理装置、並列処理方法、プログラム
CN107483451A (zh) * 2017-08-25 2017-12-15 西安电子科技大学 基于串并行结构网络安全数据处理方法及系统、社交网络
CN107977444A (zh) * 2017-12-11 2018-05-01 成都博睿德科技有限公司 基于大数据的海量数据并行处理方法

Also Published As

Publication number Publication date
CN108549583A (zh) 2018-09-18

Similar Documents

Publication Publication Date Title
CN108549583B (zh) 大数据处理方法、装置、服务器及可读存储介质
CN108170526B (zh) 负载能力优化方法、装置、服务器及可读存储介质
CN109408205B (zh) 基于hadoop集群的任务调度方法和装置
US8631410B2 (en) Scheduling jobs in a cluster having multiple computing nodes by constructing multiple sub-cluster based on entry and exit rules
US8671134B2 (en) Method and system for data distribution in high performance computing cluster
US9367359B2 (en) Optimized resource management for map/reduce computing
US20180246765A1 (en) System and method for scheduling jobs in distributed datacenters
CN109067841B (zh) 基于ZooKeeper的服务限流方法、系统、服务器及存储介质
CN106874100B (zh) 计算资源分配方法及装置
CN109074281B (zh) 图形处理器任务的分配方法和装置
CN106302640A (zh) 数据请求处理方法及装置
CN110912949B (zh) 位点提交方法和装置
WO2023196042A1 (en) Data flow control in distributed computing systems
CN112395269A (zh) MySQL高可用组的搭建方法及装置
CN111158904A (zh) 一种任务调度方法、装置、服务器及介质
CN114064260B (zh) 数据去倾斜方法、装置、电子设备及存储介质
US9577869B2 (en) Collaborative method and system to balance workload distribution
CN114237902A (zh) 一种服务部署方法、装置、电子设备及计算机可读介质
CN114090234A (zh) 请求的调度方法、装置、电子设备和存储介质
CN112181605A (zh) 负载均衡方法、装置、电子设备和计算机可读介质
CN111694670A (zh) 资源分配方法、装置、设备和计算机可读介质
CN112395081A (zh) 一种资源在线自动回收方法、系统、服务器以及存储介质
Weihua et al. Analysis of information management and scheduling technology in Hadoop
CN113448719B (zh) 分布式任务处理系统
US9747131B1 (en) System and method for variable aggregation in order for workers in a data processing to share information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210319

Address after: 4 / F, block B, building 5, No. 200, Tianfu 5th Street, high tech Zone, Chengdu, Sichuan 610000

Applicant after: Zhiyun Technology Co.,Ltd.

Address before: No. 1501, 15th floor, building 12, 219 Tianhua 2nd Road, hi tech Zone, Chengdu, Sichuan 610000

Applicant before: CHENGDU ZHIYUN SCIENCE & TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant