CN102855218A - 数据处理系统、方法及装置 - Google Patents

Abstract

本发明公开了一种数据处理系统、方法及装置，其中，该系统，包括：中央处理器（CPU）、以及一个或多个众核处理器，其中，CPU，与一个或多个众核处理器连接，用于与一个或多个众核处理器进行通信，并且对一个或多个众核处理器进行控制；一个或多个众核处理器，用于在CPU的控制下，接收待处理的数据，并对待处理的数据进行处理。本发明解决了众核资源得不到有效利用的技术问题，达到了提供系统的整体计算处理能力、数据传输能力和处理性能的技术效果。

Description

数据处理系统、方法及装置

技术领域

本发明涉及通信领域，具体而言，涉及一种数据处理系统、方法及装置。

背景技术

未来计算机的发展存在两条路线：一条是多核X86中央处理器（Central Processing Unit，简称为CPU），主要是针对数据库、操作系统执行的处理架构；，另一条是众核的高性能并行计算架构。由于受到空间、电力以及、冷却等因素的限制，高性能计算系统从过去的高主频单核X86处理器转向了多核，但多核系统目前也面临着当内核数量超过16个以后，该多核系统的性能无法随着内核数量进行数线性扩展，同时还会受到以及并行软件限制等等问题。，在这一背景下，图形处理单元（Graphic Processing Unit，简称为GPU）、信息完整性编码（MessageIntegrity Code，简称为MIC）等众核技术的出现，出现了实现为高性能计算的GPU、MIC等众核技术。带来了新的希望。

众核系统最初的工作就是完成3D图形的生成，随着众核的可编程性不断增强，可编程浮点单元已经成为众核内部的主要运算力量，并且调用越来越方便，编程门槛不断降低。众核的应用能力已经远远超出了图形渲染任务，利用众核完成通用计算的研究逐渐增多活跃起来，将GPU用于图形渲染以外领域的计算领域已经成为众核使用的必然趋势热点，因此，需要迫切要求提供一种基于众核的新的并行编程模型以及并行编程系统中间件。

然而，但现有的各种基于众核的计算系统都存在着不同的各种问题，例如：如功能定制化、可扩展性差，从而难以支持不同的网络结构，也并不能适应大规模产品化的需求。，因此，目前众核的应用还主要是科研性质的超级计算机等，具有功能单一、能耗大的缺点特点，很难推广到其它的应用领域，限制了众核的有效应用。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明提供了一种数据处理系统、方法及装置，以至少解决现有技术中众核资源得不到有效利用的技术问题。

根据本发明的一个方面，提供了一种数据处理系统，包括：中央处理器CPU、以及一个或多个众核处理器，其中，CPU，与一个或多个众核处理器连接，用于与一个或多个众核处理器进行通信，并且对一个或多个众核处理器进行控制；一个或多个众核处理器，用于在CPU的控制下，接收待处理的数据，并对待处理的数据进行处理。

优选地，CPU还用于从与CPU相连的众核处理器中选择处理负荷小于第一预定处理阈值的一个或多个众核处理器。

优选地，CPU还用于在一个或多个众核处理器接收待处理的数据之前将待处理的数据分为一个或多个计算任务；将一个或多个计算任务发送至一个或多个众核处理器。

优选地，CPU还用于在一个或多个众核处理器对接收到的待处理的数据进行处理时，检测一个或多个众核处理器的工作状态；根据检测结果对一个或多个众核处理器对应的待处理的数据进行操作。

根据本发明的一个方面，提供了一种数据处理方法，包括：在中央处理器CPU的控制下，与CPU相连的众核处理器中的一个或多个众核处理器接收待处理的数据；一个或多个众核处理器对接收到的待处理的数据进行处理。

优选地，在一个或多个众核处理器接收待处理的数据之前，还包括：从与CPU相连的众核处理器中选择处理负荷小于第一预定处理阈值的一个或多个众核处理器。

优选地，在一个或多个众核处理器接收待处理的数据之前，还包括：将待处理的数据和/或待处理的数据所对应的处理步骤分为一个或多个计算任务；将一个或多个计算任务发送至一个或多个众核处理器。

优选地，将待处理的数据和/或待处理的数据所对应的处理步骤分为一个或多个计算任务，包括：确定一个或多个众核处理器的数量；根据一个或多个众核处理器的数量将待处理的数据和/或待处理的数据所对应的处理步骤分为一个或多个计算任务。

优选地，在将待处理的数据和/或待处理的数据所对应的处理步骤分为一个或多个计算任务之后，还包括：为一个或多个计算任务分配不同的编号，其中，编号用于指示计算任务的执行顺序。

优选地，在中央处理器CPU的控制下，与CPU相连的众核处理器中的一个或多个众核处理器接收待处理的数据包括：CPU为各个与CPU相连的众核处理器均分配一个计算管理线程；对于每个计算管理线程，当接收到待处理数据时，该计算管理线程调用与该计算管理线程对应的众核处理器对接收到的待处理的数据进行处理。

优选地，在一个或多个众核处理器接收待处理的数据之前，还包括：请求对待处理的数据进行处理的客户端确定各个一个或多个众核处理器的处理能力；客户端根据一个或多个众核处理器的处理能力将待处理的数据发送给一个或多个众核处理器。

优选地，采用如下方式确定每个众核处理的处理能力：确定各个一个或多个众核处理器的预设处理能力；或CPU动态确定各个一个或多个众核处理器的当前处理能力。

优选地，动态确定各个一个或多个众核处理器的当前处理能力，包括：根据各个一个或多个众核处理器中当前可用的单核的数量和各个单核的处理能力确定各个一个或多个众核处理器的处理能力。

优选地，在一个或多个众核处理器接收待处理的数据之前，还包括：CPU根据一个或多个众核处理器的处理能力为各个一个或多个众核处理处理器分配一个或多个计算任务。

优选地，一个或多个众核处理器对接收到的待处理的数据进行处理时，还包括：检测一个或多个众核处理器的工作状态；根据检测结果对一个或多个众核处理器对应的待处理的数据进行操作。

优选地，根据检测结果对一个或多个众核处理器对应的待处理的数据进行操作包括：在检测到一个或多个众核处理器中存在故障的众核处理器时，CPU将存在故障的众核处理器所对应的工作队列中处于等待状态的任务数据转移到与CPU相连的众核处理器中除存在故障的众核处理器之外的其他众核处理器中进行处理。

优选地，在检测到一个或多个众核处理器中存在故障的众核处理器时，还包括：将存在故障的众核处理器的状态设置为不可用状态。

优选地，该数据处理方法还包括：当系统负荷低于预定阈值和/或需要降低系统损耗时，将一个或多个众核处理器的状态设置为不可用状态。

优选地，根据检测结果对众核处理器中的待处理的数据进行处理，包括：在检测到一个或多个众核处理器中存在处理负荷大于第二预定处理阈值的众核处理器时，CPU将处理负荷大于第二预定处理阈值的众核处理器上处理的数据转移到与CPU相连的众核处理器中进行处理。

优选地，一个或多个众核处理器对接收到的待处理的数据进行处理之后，还包括：一个或多个众核处理器将处理结果发送给请求计算待处理的数据的客户端；和/或一个或多个众核处理器存储处理结果，并向客户端发送已经处理完待处理的数据的通知消息，其中，客户端响应于通知消息从一个或多个众核处理器中获取处理结果。

优选地，一个或多个众核处理器对接收到的待处理的数据进行处理之后，还包括：在客户端在预定时间内未收到一个或多个计算任务对应的处理结果和/或通知消息的情况下，重新选择当前处理负荷小于第一预定处理阈值的众核处理器对未收到的处理结果和/或通知消息所对应的计算任务进行处理。

优选地，在与CPU相连的众核处理器中的一个或多个众核处理器接收待处理的数据之前，还包括：确定CPU所在的网络系统中的所有的众核处理器，将所有的众核处理器分为一个或多个组，将每个组作为一个资源池。

优选地，在一个或多个众核处理器接收待处理的数据之前，还包括：从资源池中选择选择处理负荷小于第三预定处理阈值的资源池作为处理待处理的数据的资源池；将待处理数据发送至选择的资源池中一个或多个众核处理器。

根据本发明的又一方面，提供了一种数据处理装置，位于中央处理器CPU中，包括：控制单元，用于控制一个或多个众核处理器对待处理的数据进行接收和处理，其中，一个或多个众核处理器均与CPU相连。

优选地，控制单元还用于从与CPU相连的众核处理器中选择处理负荷小于第一预定处理阈值的一个或多个众核处理器。

优选地，控制单元包括：拆分模块，用于在一个或多个众核处理器接收待处理的数据之前将待处理的数据分为一个或多个计算任务；发送模块，用于将一个或多个计算任务发送至一个或多个众核处理器。

优选地，控制单元包括：检测模块，用于在一个或多个众核处理器对接收到的待处理的数据进行处理时，检测对所述待处理的数据进行处理的一个或多个众核处理器的工作状态；操作模块，用于根据检测结果对一个或多个众核处理器对应的待处理的数据进行操作。

在本发明中，提供了一种基于众核的并行计算系统，一个CPU对应多个众核处理器，从而实现在众核硬件架构对数据的并行计算，充分了发挥众核在高性能计算中的优势，由CPU对与其相连的一个或多个众核处理器进行数据处理的控制，从而解决了现有技术中众核资源得不到有效利用的技术问题，通过本发明可以实现系统内计算资源负荷的动态均衡，提升了系统的整体计算处理能力，提高了数据传输和处理性能，通用性和灵活性更强，同时增强了系统的可扩展性、可移植性和可用性，可以有效降低系统开发成本。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的数据处理系统的一种优选结构示意图；

图2是根据本发明实施例的数据处理方法的一种优选流程图；

图3是本发明实施例的控制单元的一种优选结构框图；

图4是本发明实施例的控制单元的另一种优选结构框图；

图5是本发明实施例的数据处理方法中队列示意图；

图6是本发明实施例的主从处理器分布式通信的一种优选流程图；

图7是本发明实施例的CPU对众核处理器的弹性资源管理的一种优选流程图；

图8是本发明实施例的CPU对众核处理器的负荷均衡的过程的一种优选流程图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本实施例提供了一种数据处理系统，如图1所示，包括：中央处理器（CPU）、以及一个或多个众核处理器。下面对该数据处理系统进行说明。

CPU，与一个或多个众核处理器连接，用于与一个或多个众核处理器进行通信，并且对一个或多个众核处理器进行控制；

一个或多个众核处理器，用于在CPU的控制下，接收待处理的数据，并对待处理的数据进行处理。

在本优选实施方式中，提供了一种基于众核的并行计算系统，一个CPU对应多个众核处理器，从而实现在众核硬件架构对数据的并行计算，充分了发挥众核在高性能计算中的优势，由CPU对与其相连的众核处理器进行数据处理的控制，可以实现系统内计算资源负荷的动态均衡，提升了系统的整体计算处理能力，提高了数据传输和处理性能，通用性和灵活性更强，同时增强了系统的可扩展性、可移植性和可用性，可以有效降低系统开发成本。

在上述系统中，CPU还可以用于从与CPU相连的众核处理器中选择处理负荷小于第一预定处理阈值的一个或多个众核处理器，或者用于在一个或多个众核处理器接收待处理的数据之前将待处理的数据分为一个或多个计算任务；将一个或多个计算任务发送至一个或多个众核处理器，或者用于在一个或多个众核处理器对接收到的待处理的数据进行处理时，检测一个或多个众核处理器的工作状态；根据检测结果对一个或多个众核处理器对应的待处理的数据进行操作。

在上述数据处理系统的基础上，本实施例还提供了一种数据处理方法，如图2所示，该方法包括如下步骤：

步骤S202：在中央处理器（CPU）的控制下，与CPU相连的众核处理器中的一个或多个众核处理器接收待处理的数据；

步骤S204：一个或多个众核处理器对接收到的待处理的数据进行处理。

因一个CPU和多个众核处理器相连，因此在接收到业务请求时，CPU可以从这些众核处理器中进行选择，优先选择处于空闲状态或者相对空闲状态的众核处理器进行业务数据的计算处理。在一个优选实施方式中，在一个或多个众核处理器接收待处理的数据之前，还包括：从与CPU相连的众核处理器中选择处理负荷小于第一预定处理阈值的一个或多个众核处理器。即，找出与CPU相连的众核处理器中能够进行计算处理的众核处理作为一个或多个待处理的数据进行处理的众核处理器。

CPU接收的业务请求可能是很长的一个数据计算内容，在这种情况下，为了让这些数据可以被分配到不同的众核进行处理，可以将一个大的数据计算内容分为很多小的计算内容（即，一个个计算任务），在一个优选实施方式中，在一个或多个众核处理器接收待处理的数据之前，该数据处理方法还包括：将待处理的数据和/或待处理的数据所对应的处理步骤分为一个或多个计算任务；将一个或多个计算任务发送至一个或多个众核处理器。通过上述方式实现了数据的并行处理，提高了数据处理的速度。

对于上述将待处理的数据和/或待处理的数据所对应的处理步骤分为一个或多个计算任务，可以是根据进行待处理数据的处理的众核处理器的数量来确定分成的计算任务的数量，在一个优选实施方式中，确定一个或多个众核处理器的数量；根据一个或多个众核处理器的数量将待处理的数据和/或待处理的数据所对应的处理步骤分为一个或多个计算任务。

将待处理的数据和/或待处理的数据所对应的处理步骤分为多个计算任务以后，为了可以准确获取每个计算任务的计算结果所对应的最终的处理结果，可以为每个计算任务分配一个编号，这样在恢复的时候只要按照这个顺序编号便知道每个计算任务在待处理的数据中所处的执行的顺序，从而实现数据处理结果的恢复。在一个优选实施方式中，在将待处理的数据和/或所述待处理的数据所对应的处理步骤分为一个或多个计算任务之后，该数据处理方法还包括：为一个或多个计算任务分配不同的编号，其中，编号用于指示计算任务的执行顺序。

CPU可以采用线程的方式指示众核处理器对数据进行处理，在一个优选实施方式中，在中央处理器CPU的控制下，与CPU相连的众核处理器中的一个或多个众核处理器接收待处理的数据包括：CPU为各个与CPU相连的众核处理器均分配一个计算管理线程；对于每个计算管理线程，当接收到待处理数据时，该计算管理线程调用与该计算管理线程对应的众核处理器对接收到的待处理的数据进行处理。优选的，在每个众核处理器都设置有计算程序，线程在获得数据后，仅需要调用众核处理器中的计算程序对数据进行计算处理即可。

考虑到每个众核处理器的处理能力的不同，可以根据众核的不同处理能力分配不同的计算任务，其中，不同的计算任务可以是任务数量的不同也可以是单个计算任务的计算量的不同。在一个优选实施方式中，在一个或多个众核处理器接收待处理的数据之前，该数据处理方法还包括：请求对待处理的数据进行处理的客户端确定各个一个或多个众核处理器的处理能力；客户端根据一个或多个众核处理器的处理能力将待处理的数据发送给所述一个或多个众核处理器。其中，可以按照如下方式之一确定每个众核处理的处理能力：

方式一：CPU确定各个一个或多个众核处理器的预设处理能力；或者

方式二：CPU在调用该一个或多个众核处理器进行数据处理时动态确定该一个或多个众核处理器的当前处理能力。通过上述方式可以使得众核资源得到合理有效的利用。

在方式二中可以根据各个一个或多个众核处理器中当前可用的单核的数量和各个单核的处理能力确定各个一个或多个众核处理器的处理能力。

考虑到在实际的众核处理器的调用时，有时有些处理器会出现故障或者是负荷过大，需要实时对众核处理器的处理状况进行检查，在一个优选实施方式中，一个或多个众核处理器对接收到的待处理的数据进行处理时，还包括：CPU检测一个或多个众核处理器的工作状态；CPU根据检测结果对一个或多个众核处理器对应的待处理的数据进行控制操作。

对于上述的操作主要包括以下两种情况：

1）在检测到一个或多个众核处理器中存在故障的众核处理器时，CPU将存在故障的众核处理器所对应的工作队列中处于等待状态的任务数据转移到与CPU相连的众核处理器中除存在故障的众核处理器之外的其他众核处理器中进行处理。优选地，在检测到一个或多个众核处理器中存在故障的众核处理器时，还包括：将存在故障的众核处理器的状态设置为不可用状态。

2）在检测到一个或多个众核处理器中存在处理负荷大于第二预定处理阈值的众核处理器时，CPU将处理负荷大于第二预定处理阈值的众核处理器上处理的数据转移到与CPU相连的众核处理器中除处理负荷大于第二预定处理阈值的众核处理器之外的其他众核处理器中进行处理，优选的，这里会优先考虑移动计算任务编号小的未计算任务。

考虑到减少系统的能量损耗，可以在系统负荷较低的时候关闭部分众核处理器的功能，在一个优选实施方式中，当系统负荷低于预定阈值和/或需要降低系统损耗时，将一个或多个众核处理器的状态设置为不可用状态。

对于众核处理器对待处理的数据处理后得到的处理结果，支持同步和异步两种处理方式。在一个优选实施方式中，一个或多个众核处理器对接收到的待处理的数据进行处理之后，该数据处理方法还包括：一个或多个众核处理器将处理结果发送给请求计算待处理的数据的客户端；和/或一个或多个众核处理器存储处理结果，并向客户端发送已经处理完待处理的数据的通知消息，其中，客户端响应于通知消息从一个或多个众核处理器中获取处理结果。在上述方式中，对于异步方式的计算直接返回成功，对于同步方式的计算会在计算完毕后主动通知用户提取计算结果，满足不同用户的实际需求。

考虑到出现数据传输异常或者是有效众核处理器未能准确计算出处理结果，可以为客户端设定一个预定的时间，如果在预定的时间内未收到部分待处理数据的处理结果，可以重新请求调用众核处理器对这部分数据进行处理。在一个优选实施方式中，一个或多个众核处理器对接收到的待处理的数据进行处理之后，该数据处理方法还包括：在客户端在预定时间内未收到一个或多个计算任务对应的处理结果和/或通知消息的情况下，重新选择当前处理负荷小于第一预定处理阈值的众核处理器对未收到的处理结果和/或通知消息所对应的计算任务进行处理。

在一个优选实施方式中，可以引入资源池的概念，即，将众核处理器按照一定的规则分为不同的组，在有计算任务到达的时候，选择其中一个资源池进行待处理的数据的处理。在一个优选实施方式中，在与CPU相连的众核处理器中的一个或多个众核处理器接收待处理的数据之前，该数据处理方法还包括：确定CPU所在的网络系统中的所有的众核处理器，将所有的众核处理器分为一个或多个组，将每个组作为一个资源池。，从资源池中选择选择处理负荷小于第三预定处理阈值的资源池作为处理待处理的数据的资源池；将待处理数据发送至选择的资源池中的一个或多个众核处理器。

在本实施例中还提供了一种数据处理装置，位于中央处理器CPU中，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。该装置包括：控制单元，用于对众核处理器对待处理的数据的接收和处理进行控制，其中，众核处理器是与CPU相连的众核处理器。

优选地，该控制单元还用于从与CPU相连的众核处理器中选择处理负荷小于第一预定处理阈值的一个或多个众核处理器。

在一个优选实施方式中，如图3所示，控制单元包括：拆分模块302，用于在一个或多个众核处理器接收待处理的数据之前将待处理的数据分为一个或多个计算任务；发送模块304，用于将一个或多个计算任务发送至一个或多个众核处理器。

在一个优选实施方式中，如图4所示，控制单元包括：检测模块402，用于在一个或多个众核处理器对接收到的待处理的数据进行处理时，检测对待处理的数据进行处理的一个或多个众核处理器的工作状态；操作模块404，用于根据检测结果对一个或多个众核处理器对应的待处理的数据进行控制操作。

下面结合具体的实施例对本发明的系统、方法和装置进行详细的描述。

如图1所示的支持CPU+多众核并行计算模型，包括：1个主处理器和多个众核协处理器的主从处理器硬件结构，CPU中存在可以将业务计算请求自动离散化后分解到不同众核处理器上的软件模型。

当有客户端希望调用众核处理器进行计算前，可以首先从可用计算资源池中获取可用的计算资源的数量，并结合配置的推荐计算单元数量、最小计算单元数量和最大计算单元数量确定计算并行度。然后根据确定的计算并行度将计算请求（即上文的待处理的数据）划分并行计算单元（即上文的计算单元），将计算请求派发到实际的众核处理器工作队列中，如果计算并行度超过一个众核处理器可用的计算单元数量，可以把计算请求分解为多个计算任务，派发到多个众核处理器工作队列中。优选的，每个计算任务会根据具体应用请求分配一个顺序递增的本地统一的任务编号，根据队列的特点，同一工作队列中的任务计算按任务编号顺序执行。优选地，可以如图5所示，不同的队列对应不同的计算任务，每个计算任务对应一个任务编号。通过上述分析可以，本实施例提出了基于众核的并行计算方法，对底层屏蔽不同众核硬件的差异，为上层提供一个可灵活扩展的软件支撑平台。提供了一种通用的并行化编程模型，支持不同众核的硬件架构应用，使用户不需要关注不同众核底层并发实现的细节

优选地，在并行计算中考虑为每个众核处理器提供单独的工作队列，暂存上层的计算请求。CPU可以按众核处理器数量或计算能力构造一定数量的线程池，线程池中维护多个计算管理线程，每个众核处理器与CPU上计算管理线程绑定。该线程作为一个服务实例守护在一个通信通道（比如套接字、消息队列、共享资源）上，等待接收服务请求。服务实例接收服务请求后，调用该众核的库函数接口进行并行计算，并将计算结果提交给发起服务请求的客户端。

众核计算完成后，输出该工作队列的执行结果，可以统一向指定的客户端，即请求对待处理的数据进行处理的客户端输出处理结果。同时，如果设定了每个计算任务的任务编号，发起计算请求的客户端需要确定顺序任务编号，优选地，工作队列在执行时可以透传该顺序任务的任务编号，并最终在反馈结果中携带该任务编号。优选地，如果出现长时间不反馈的计算任务，则需要重新对未完成计算单元发起计算。

对于CPU和各个众核处理器的主从处理器间通信，可以通过主机端（CPU）页面锁定内存并采用DMA通信队列集中传输的方式，通过上述的通信方式可以提高传输效率，同时可以减少并行计算中传输等待时延。

在各个实施方式中，采用使用控制和数据分离的方式，输入端使用工作队列，对上层传入的计算请求进行统一汇总和集中输入，将工作队列中的不同计算请求的输入数据尽可能多的通过直接内存存取（Direct MemoryAccess，简称为DMA）从主机工作队列批量传输到众核本地存储中，在计算完成后，众核处理器将计算结果通过DMA传送到主机工作队列输出缓存中，从而完成数据的处理。针对每个众核处理器，依前文描述建立不同的工作队列和计算管理线程，对于工作队列对上层的响应方式，可以支持同步和异步两种处理方式，对于异步方式的计算直接返回成功，对于同步方式的计算会在计算完毕后主动通知用户提取计算结果，满足不同用户的实际需求。同时，通过提供一种主从处理器通信模式，能够有效提高CPU与众核处理器通信交互的效率。

上述过程可以采用如下方式实现，如图6所示，包括以下步骤：

步骤S602：由计算管理线程向序列化的众核工作队列输入一个计算请求，其中，该计算请求可以携带有序列号、计算操作编号、输入数据缓存地址以及输出地址缓存。

步骤S604：将工作队列通过DMA传输，把工作队列中的计算请求的计算任务输入请求传输到众核处理器上进行处理。

步骤S606：众核处理器不获取计算请求的计算任务输入请求，发起计算操作，优选地，众核上可以预先设定计算函数库，只需要调用计算操作编号所对应的计算函数，就可以对输入缓存的输入数据进行计算。

步骤S608：将计算结果汇总到输出缓存中。

步骤S610：将完成计算的工作队列通过DMA传输，把工作队列中的包括计算输出的数据传输到主机处理器上，同时释放众核处理器上队列的资源。

步骤S612：CPU中的计算管理线程提取输出数据和相应的序列号，并按序列号顺序按前述流程反馈给服务请求者。

在本实施例中，可以实现CPU对众核处理器的弹性资源管理。主要包括：对当前可用计算众核资源的管理、对众核处理器数量变化的反应、以及对不同能力的计算资源给予不同的能力权重等。

优选地，可以通过检测系统中的众核资源，将所有的众核资源划分为各种不同的资源池，每个众核处理器作为资源池中一个单独的计算单元管理。每个作为计算资源的众核处理器根据单核处理能力和/或单核的数量确定自身的权重。优选地，CPU可以采用配置指定和标准代码实时测算两种方式确定该众核计算处理能力。

为了实现对众核处理器的处理能力的动态的调整以实现资源的更为合理的利用，如果出现了众核处理器通过PCIE动态热插拔或某个众核处理器运行异常时，CPU会检测每个众核处理器的变化，以动态调整资源池的大小。优选地，CPU还可以动态获取计算资源的功能，并可以在众核处理器异常或者需要节能降耗时，关闭部分众核处理器，以对资源池的大小进行缩减，可以将关闭的众核处理器置于不可用的资源池中。

上述实现CPU对众核处理器的弹性资源管理的过程可以采用如下方式实现，实现了对计算资源细粒度的控制，提高了功能的扩展性，如图7所示，包括以下步骤：

步骤S702：当应用需要进行计算出来时，向CPU发起计算请求，CPU向空闲众核资源池或相对空闲的运行资源池中申请计算资源。

步骤S704：当有空闲的计算资源时，申请完成后，将计算任务送入运行资源对应的队列，CPU对进行数据处理的众核处理器自动监控其运行状态。

步骤S706：众核处理器将处理结果返回，应用客户端开始计算操作。

步骤S708：如果检测到众核处理器出现异常，则开始异常处理，首先隔离出现异常的众核处理器，将该众核处理器送入异常资源池。特别的，当需要进行节能降耗时，也可按上述方式关闭运行资源。

步骤S710：如果有些计算任务未被处理，则通知客户端暂停数据的计算。

步骤S712：CPU从空闲资源池中申请新的计算资源，用新的计算资源替代原先的计算资源，对计算任务进行处理。如果没有空闲的众核处理器，则按调度规则选择负荷较轻的运行资源替代，在处理完成后通知客户端重新对数据进行计算。

步骤S714：异常资源池中对出现异常的众核处理器进行复位，将复位后的众核处理器送入空闲资源池，如果在预定时间内众核处理器的复位次数超过一定的次数，则永久隔离该众核处理器。

步骤S716：客户端完成计算，释放众核处理器的资源。

步骤S718：工作队列中所有计算请求都完成，对该计算请求进行处理的众核处理器进入空闲资源池。

在本实施例提供的系统中，可以支持不同众核的协同应用，对于两个以上异构众核处理器的协同，考虑单核的处理能力N和单核的数量M两个因素确定每个众核处理器的处理能力，从而可以为不同处理能力的众核处理器分配不同的计算任务。优选地，可以按照多个众核中N*M的比例关系，如（N1*M1）∶（N2*M2）∶（N3*M3），划分不同服务实例的计算任务，然后将划分好的计算任务派发到各个众核处理器所对应的计算服务线程上。通过上述方式，可以扩展支持集群应用，以达到更大的计算并行度。

CPU上的系统管理模块（即上文中的控制单元）还用于对多众核处理器工作队列的状态进行监测和任务负荷均衡。主要包括：监测众核处理器状态、为资源管理上报、对众核处理器单个核的异常处理、以及对工作队列中处理任务过多的众核单元进行负荷均衡。

系统管理模块还定时对众核处理器进行监测，对于出现异常状态的众核处理器，及时通知资源管理将该核从可用计算资源池中去除。在具有多个众核处理器的系统中，如果出现一个众核处理器对应的工作队列的任务积压过多，而另一个可用众核处理器的工作队列为空的情况，可以在众核处理器工作队列为空时，系统管理模块主动发起工作队列均衡请求，允许其它众核处理器将自己的计算任务发送到该工作队列为空的众核处理器中，优选地，可以优先移动计算任务编号小的未计算的计算任务。如果有的众核处理器出现异常或由于其它原因不再提供服务，系统管理模块在释放该众核处理器对应的相关资源前，需要将该众核处理器的工作队列上的计算任务平滑迁移到其它众核处理器的工作队列中进行处理。

上述实现CPU对众核处理器的负荷均衡的过程可以采用如下方式实现，如图8所示，包括以下步骤：

步骤S802：获取系统内的众核处理器的相关信息，并获取每个众核处理器的计算能力参数。

步骤S804：按每个众核处理器的计算资源能力设置负载均衡权重。

步骤S806：获取所有资源池中的计算管理线程负荷和工作队列状态。

步骤S808：按工作队列长度和计算线程负荷的大小，结合负载均衡权重计算每个计算资源的负荷参数，找到负荷最重和负荷最轻的众核处理器，及其对应的计算线程。

步骤S810：将负荷重的众核处理器对应的队列迁移部分任务到负荷轻的众核处理器对应的队列中。

优选地，可以设置定时器，定期重复以上的检测流程，周期性检查和调整资源的负荷均衡。通过上述对众核工作队列的负荷均衡，允许将负荷较重的众核工作队列中任务迁移到空闲众核工作队列中，提高众核计算资源的使用效率。

在另外一个实施例中，还提供了一种软件，该软件用于执行上述实施例及优选实施方式中描述的技术方案。

在另外一个实施例中，还提供了一种存储介质，该存储介质中存储有上述软件，该存储介质包括但不限于：光盘、软盘、硬盘、可擦写存储器等。

从以上的描述中，可以看出，本发明实现了如下技术效果：

在本发明实施例中，提供了一种基于众核的并行计算系统，一个CPU对应多个众核处理器，从而实现在众核硬件架构对数据的并行计算，充分了发挥众核在高性能计算中的优势，由CPU对与其相连的众核处理器进行数据处理的控制，从而解决了现有技术中众核资源得不到有效利用的技术问题，通过本发明可以实现系统内计算资源负荷的动态均衡，提升了系统的整体计算处理能力，提高了数据传输和处理性能，通用性和灵活性更强，同时增强了系统的可扩展性、可移植性和可用性，可以有效降低系统开发成本。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (27)

1.一种数据处理系统，其特征在于，包括：中央处理器CPU、以及一个或多个众核处理器，其中，

所述CPU，与所述一个或多个众核处理器连接，用于与所述一个或多个众核处理器进行通信，并且对所述一个或多个众核处理器进行控制；

所述一个或多个众核处理器，用于在所述CPU的控制下，接收待处理的数据，并对所述待处理的数据进行处理。

2.根据权利要求1所述的数据处理系统，其特征在于，所述CPU，还用于从与所述CPU相连的众核处理器中选择处理负荷小于第一预定处理阈值的所述一个或多个众核处理器。

3.根据权利要求1所述的数据处理系统，其特征在于，所述CPU，还用于在所述一个或多个众核处理器接收待处理的数据之前将所述待处理的数据分为一个或多个计算任务；将所述一个或多个计算任务发送至所述一个或多个众核处理器。

4.根据权利要求1所述的数据处理系统，其特征在于，所述CPU，还用于在所述一个或多个众核处理器对接收到的所述待处理的数据进行处理时，检测所述一个或多个众核处理器的工作状态；根据检测结果对所述一个或多个众核处理器对应的待处理的数据进行操作。

5.一种数据处理方法，其特征在于，包括：

在中央处理器CPU的控制下，与所述CPU相连的众核处理器中的一个或多个众核处理器接收待处理的数据；

所述一个或多个众核处理器对接收到的所述待处理的数据进行处理。

6.根据权利要求5所述的方法，其特征在于，在所述一个或多个众核处理器接收待处理的数据之前，还包括：

从与所述CPU相连的众核处理器中选择处理负荷小于第一预定处理阈值的所述一个或多个众核处理器。

7.根据权利要求5所述的方法，其特征在于，在所述一个或多个众核处理器接收待处理的数据之前，还包括：

将所述待处理的数据和/或所述待处理的数据所对应的处理步骤分为一个或多个计算任务；

将所述一个或多个计算任务发送至所述一个或多个众核处理器。

8.根据权利要求7所述的方法，其特征在于，将所述待处理的数据和/或所述待处理的数据所对应的处理步骤分为一个或多个计算任务，包括：

确定所述一个或多个众核处理器的数量；

根据所述一个或多个众核处理器的数量将所述待处理的数据和/或所述待处理的数据所对应的处理步骤分为一个或多个计算任务。

9.根据权利要求7所述的方法，其特征在于，在将所述待处理的数据和/或所述待处理的数据所对应的处理步骤分为一个或多个计算任务之后，还包括：

为所述一个或多个计算任务分配不同的编号，其中，所述编号用于指示所述计算任务的执行顺序。

10.根据权利要求5所述的方法，其特征在于，在中央处理器CPU的控制下，与所述CPU相连的众核处理器中的一个或多个众核处理器接收待处理的数据包括：

所述CPU为各个与所述CPU相连的众核处理器均分配一个计算管理线程；

对于每个所述计算管理线程，当接收到待处理数据时，该计算管理线程调用与该计算管理线程对应的众核处理器对所述接收到的待处理的数据进行处理。

11.根据权利要求7所述的方法，其特征在于，在所述一个或多个众核处理器接收待处理的数据之前，还包括：

请求对所述待处理的数据进行处理的客户端确定各个所述一个或多个众核处理器的处理能力；

所述客户端根据所述一个或多个众核处理器的处理能力将所述待处理的数据发送给所述一个或多个众核处理器。

12.根据权利要求11所述的方法，其特征在于，采用如下方式确定每个所述众核处理的处理能力：

确定各个所述一个或多个众核处理器的预设处理能力；或

动态确定各个所述一个或多个众核处理器的当前处理能力。

13.根据权利要求12所述的方法，其特征在于，动态确定各个所述一个或多个众核处理器的当前处理能力，包括：

根据各个所述一个或多个众核处理器中当前可用的单核的数量和各个所述单核的处理能力确定各个所述一个或多个众核处理器的处理能力。

14.根据权利要求11所述的方法，其特征在于，在所述一个或多个众核处理器接收待处理的数据之前，还包括：

所述CPU根据所述一个或多个众核处理器的处理能力为各个所述一个或多个众核处理处理器分配所述一个或多个计算任务。

15.根据权利要求5所述的方法，其特征在于，所述一个或多个众核处理器对接收到的所述待处理的数据进行处理时，还包括：

所述CPU检测所述一个或多个众核处理器的工作状态；

所述CPU根据检测结果对所述一个或多个众核处理器对应的待处理的数据进行控制操作。

16.根据权利要求15所述的方法，其特征在于，所述CPU根据检测结果对所述一个或多个众核处理器对应的待处理的数据进行控制操作包括：

在检测到所述一个或多个众核处理器中存在故障的众核处理器时，所述CPU将所述存在故障的众核处理器所对应的工作队列中处于等待状态的任务数据转移到与所述CPU相连的众核处理器中除所述存在故障的众核处理器之外的其他众核处理器中进行处理。

17.根据权利要求16所述的方法，其特征在于，在检测到所述一个或多个众核处理器中存在故障的众核处理器时，还包括：

将所述存在故障的众核处理器的状态设置为不可用状态。

18.根据权利要求5所述的方法，其特征在于，还包括：

当系统负荷低于预定阈值和/或需要降低系统损耗时，将一个或多个众核处理器的状态设置为不可用状态。

19.根据权利要求15所述的方法，其特征在于，根据检测结果对众核处理器中的所述待处理的数据进行处理，包括：

在检测到所述一个或多个众核处理器中存在处理负荷大于第二预定处理阈值的众核处理器时，所述CPU将所述处理负荷大于第二预定处理阈值的众核处理器上处理的数据转移到与所述CPU相连的众核处理器中除所述处理负荷大于第二预定处理阈值的众核处理器之外的其他众核处理器中进行处理。

20.根据权利要求7所述的方法，其特征在于，所述一个或多个众核处理器对接收到的所述待处理的数据进行处理之后，还包括：

所述一个或多个众核处理器将处理结果发送给请求计算所述待处理的数据的客户端；和/或

所述一个或多个众核处理器存储所述处理结果，并向所述客户端发送已经处理完所述待处理的数据的通知消息，其中，所述客户端响应于所述通知消息从所述一个或多个众核处理器中获取所述处理结果。

21.根据权利要求20所述的方法，其特征在于，所述一个或多个众核处理器对接收到的所述待处理的数据进行处理之后，还包括：

在所述客户端在预定时间内未收到一个或多个计算任务对应的处理结果和/或通知消息的情况下，重新选择当前处理负荷小于第一预定处理阈值的众核处理器对所述未收到的处理结果和/或通知消息所对应的计算任务进行处理。

22.根据权利要求5所述的方法，其特征在于，在与所述CPU相连的众核处理器中的一个或多个众核处理器接收待处理的数据之前，还包括：

确定所述CPU所在的网络系统中的所有的众核处理器，将所述所有的众核处理器分为一个或多个组，将每个所述组作为一个资源池。

23.根据权利要求22所述的方法，其特征在于，在所述一个或多个众核处理器接收待处理的数据之前，还包括：

从所述资源池中选择选择处理负荷小于第三预定处理阈值的资源池作为处理所述待处理的数据的资源池；

将所述待处理数据发送至所述选择的资源池中所述一个或多个众核处理器。

24.一种数据处理装置，其特征在于，位于中央处理器CPU中，包括：

控制单元，用于控制一个或多个众核处理器对待处理的数据进行接收和处理，其中，所述一个或多个众核处理器均与所述CPU相连。

25.根据权利要求24所述的装置，其特征在于，所述控制单元还用于从与所述CPU相连的众核处理器中选择处理负荷小于第一预定处理阈值的所述一个或多个众核处理器。

26.根据权利要求25所述的装置，其特征在于，所述控制单元包括：

拆分模块，用于在所述一个或多个众核处理器接收待处理的数据之前将所述待处理的数据分为一个或多个计算任务；

发送模块，用于将所述一个或多个计算任务发送至所述一个或多个众核处理器。

27.根据权利要求24所述的装置，其特征在于，所述控制单元包括：

检测模块，用于在所述一个或多个众核处理器对接收到的所述待处理的数据进行处理时，检测对所述待处理的数据进行处理的一个或多个众核处理器的工作状态；

操作模块，用于根据检测结果对所述一个或多个众核处理器对应的待处理的数据进行控制操作。

Images