CN106856509A - 一种基于knl集群的大规模数据的处理方法及系统 - Google Patents

Abstract

本发明公开了一种基于KNL集群的大规模数据的处理方法及系统，该方法包括：CPU控制节点根据收集的各个KNL计算节点的状态信息，生成各个KNL计算节点的计算能力信息；将总的计算数据分成大小相同的基本数据块，并为每个KNL计算节点分配对应数量的基本数据块；KNL计算节点读取对应的基本数据块并对基本数据块进行计算；本发明通过CPU控制节点为每个KNL计算节点分配对应数量的基本数据块，使得KNL计算节点可以计算对应数量的基本数据块，从而达到KNL集群中的KNL计算节点对大规模数据计算的负载均衡，更好的利用每个KNL计算节点的计算性能，提高了KNL集群的整体运行效率，提升了计算速度，提高了用户体验度。

Description

一种基于KNL集群的大规模数据的处理方法及系统

技术领域

本发明涉及高性能计算领域，特别涉及一种基于KNL集群的大规模数据的处理方法及系统。

背景技术

随着现代社会的发展，当前社会的人们的信息数据越来越多，人们对于信息数据的处理能力的要求也越来越高，不仅石油勘探、气象预报、航天国防、科学研究等需求高性能计算，金融、政府信息化、教育、企业、网络游戏、人工智能等更广泛的领域对高性能计算的需求也是迅猛增长。

计算速度对于高性能计算尤为重要，高性能计算朝着多核、众核发展，需要采用异构并行提升应用计算速度，目前高性能计算是非常成熟的计算模式，适合高度并行计算的应用或算法。

现有技术中，由于一些应用运算数据规模一直比较大，各个计算设备的计算能力不同，对于直接通过计算设备对大规模数据进行处理的方式，不能使各个计算设备达到计算的负载均衡，使得对于大规模数据的计算速度不高，已经无法满足当前的需求，因此，如何使各个计算设备达到计算的负载均衡，从而最大限度的利用现有的计算设备的性能，提高对大规模数据的计算效率，提升计算速度，是现今急需解决的问题。

发明内容

本发明的目的是提供一种基于KNL集群的大规模数据的处理方法及系统，以利用现有的KNL集群处理大规模数据，使各个KNL计算节点达到计算的负载均衡，提升计算速度，提高用户体验度。

为解决上述技术问题，本发明提供一种基于KNL集群的大规模数据的处理方法，包括：

CPU控制节点根据收集的各个KNL计算节点的状态信息，生成各个所述KNL计算节点的计算能力信息；其中，所述状态信息包括每个所述KNL计算节点的空闲核心的数量、网络的通信能力和访存带宽；

所述CPU控制节点根据所述计算能力信息将总的计算数据分成大小相同的基本数据块，并为每个所述KNL计算节点分配对应数量的所述基本数据块；

所述CPU控制节点将为每个所述KNL计算节点分配的所述基本数据块对应的位置信息发送给对应的所述KNL计算节点；

所述KNL计算节点根据获取的所述位置信息读取对应的所述基本数据块并对所述基本数据块进行计算。

可选的，所述KNL计算节点根据获取的所述位置信息读取对应的所述基本数据块并进行计算，包括：

所述KNL计算节点根据所述位置信息从共享存储节点读取对应的所述基本数据块并计算。

可选的，所述CPU控制节点、所述KNL计算节点和所述共享存储节点通过OPA高速网络连接。

可选的，所述KNL计算节点根据获取的所述位置信息读取对应的所述基本数据块并对所述基本数据块进行计算，包括：

所述KNL计算节点根据所述位置信息将一个所述基本数据块读取并计算；

计算完成后，将计算结果发送到所述CPU控制节点，并同时读取下一所述基本数据块；

所述CPU控制节点根据所述计算结果更新本地的结果，并将更新的最新结果发送到所述KNL计算节点；

所述KNL计算节点根据所述最新结果开始下一数据块的计算。

可选的，将计算结果发送到所述CPU控制节点，包括：

若所述KNL计算节点的网络繁忙，则将所述计算结果存储在所述KNL计算节点的本地存储中，等待网络空闲再将其发送给所述CPU控制节点。

此外，本发明还提供了一种基于KNL集群的大规模数据的处理系统，包括：

CPU控制节点，用于根据收集的各个KNL计算节点的状态信息，生成各个所述KNL计算节点的计算能力信息；其中，所述状态信息包括每个所述KNL计算节点的空闲核心的数量、网络的通信能力和访存带宽；根据所述计算能力信息将总的计算数据分成大小相同的基本数据块，并为每个所述KNL计算节点分配对应数量的所述基本数据块；将为每个所述KNL计算节点分配的所述基本数据块对应的位置信息发送给对应的所述KNL计算节点；

KNL计算节点，用于根据获取的所述位置信息读取对应的所述基本数据块并对所述基本数据块进行计算。

可选的，该系统还包括：

共享存储节点，用于存储总的所述计算数据；其中，所述KNL计算节点根据所述位置信息从共享存储节点读取对应的总的所述计算数据中的所述基本数据块并计算。

可选的，该系统还包括：

OPA高速网络，用于连接所述CPU控制节点、所述KNL计算节点和所述共享存储节点。

可选的，所述KNL计算节点，具体用于根据所述位置信息将一个所述基本数据块读取并计算；计算完成后，将计算结果发送到所述CPU控制节点，并同时读取下一所述基本数据块；根据所述CPU控制节点返回的最新结果开始下一数据块的计算；

其中，所述CPU控制节点还用于根据所述计算结果更新本地的结果，并将更新的所述最新结果发送到所述KNL计算节点。

可选的，所述KNL计算节点，还用于若网络繁忙，则将所述计算结果存储在本地存储中，等待网络空闲再将其发送给所述CPU控制节点。

本发明所提供的一种基于KNL集群的大规模数据的处理方法，包括：CPU控制节点根据收集的各个KNL计算节点的状态信息，生成各个所述KNL计算节点的计算能力信息；其中，所述状态信息包括每个所述KNL计算节点的空闲核心的数量、网络的通信能力和访存带宽；所述CPU控制节点根据所述计算能力信息将总的计算数据分成大小相同的基本数据块，并为每个所述KNL计算节点分配对应数量的所述基本数据块；所述CPU控制节点将为每个所述KNL计算节点分配的所述基本数据块对应的位置信息发送给对应的所述KNL计算节点；所述KNL计算节点根据获取的所述位置信息读取对应的所述基本数据块并对所述基本数据块进行计算；

可见，本发明通过CPU控制节点根据每个述KNL计算节点的计算能力信息将总的计算数据分成大小相同的基本数据块，并为每个KNL计算节点分配对应数量的基本数据块，使得KNL计算节点可以计算对应数量的基本数据块，从而达到KNL集群中的KNL计算节点对大规模数据计算的负载均衡，最大限度的利用每个KNL计算节点的计算性能，提高了KNL集群的整体运行效率，缩短了KNL集群对大规模数据的处理时间，提升了计算速度，提高了用户体验度。此外，本发明还提供了一种基于KNL集群的大规模数据的处理系统，同样具有上述有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的一种基于KNL集群的大规模数据的处理方法的流程图；

图2为本发明实施例所提供的另一种基于KNL集群的大规模数据的处理方法的流程图；

图3为本发明实施例所提供的另一种基于KNL集群的大规模数据的处理方法的拓扑图；

图4为本发明实施例所提供的另一种基于KNL集群的大规模数据的处理方法的通信示意图；

图5为本发明实施例所提供的一种基于KNL集群的大规模数据的处理系统的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例所提供的一种基于KNL集群的大规模数据的处理方法的流程图。该方法可以包括：

步骤101：CPU控制节点根据收集的各个KNL计算节点的状态信息，生成各个KNL计算节点的计算能力信息；其中，状态信息包括每个KNL计算节点的空闲核心的数量、网络的通信能力和访存带宽。

可以理解的是，CPU控制节点生成的各个KNL计算节点的计算能力信息，可以为包含KNL计算节点计算能力的信息，还可以包含其他信息，如根据KNL计算节点的网络的通信能力和访存带宽生成的KNL计算节点传输能力的信息。对于计算能力信息的具体内容，可以根据接下来将总的计算数据分成的基本数据块的大小和分配基本数据块的方式所需的信息对应改变，本实施例对此不受任何限制。

需要说明的是，CPU控制节点可以采用CPU+KNL的架构，KNL计算节点可以采用KNL的架构，对于CPU控制节点和KNL计算节点的具体架构，本实施例不受任何限制。对于CPU控制节点收集的各个KNL计算节点的状态信息的方式，可以通过现有的收集方式进行收集，也可以通过其他方式收集，本实施例对此同样不受任何限制。

步骤102：CPU控制节点根据计算能力信息将总的计算数据分成大小相同的基本数据块，并为每个KNL计算节点分配对应数量的基本数据块。

其中，对于CPU控制节点将总的计算数据分成大小相同的基本数据块的方式，可以根据计算能力信息将总的计算数据分成大小相同的基本数据块，如根据计算能力信息确定基本数据块的大小，也可以直接将总的计算数据分成大小相同的基本数据块，如通过预设的基本数据块的大小信息确定基本数据块的大小，本实施例对此不受任何限制。

需要说明的是，对于基本数据块的具体大小信息，可以根据计算能力信息确定，也可以由用户或设计人员根据实用场景或用户需求自行设置，本市实施例对此同样不受任何限制。

可以理解的是，对于CPU控制节点根据计算能力信息为每个KNL计算节点分配对应数量的基本数据块的具体分配原则，可以由用户或设计人员根据实用场景或用户需求自行设置，本实施例不做任何限制。

步骤103：CPU控制节点将为每个KNL计算节点分配的基本数据块对应的位置信息发送给对应的KNL计算节点。

可以理解的是，CPU控制节点将为每个KNL计算节点分配的基本数据块对应的位置信息发送给对应的KNL计算节点的方式，可以为直接将为KNL计算节点分配的全部数量的基本数据块对应的位置信息发送给该KNL计算节点，也可以为按预设的数量的基本数据块对应的位置信息发送给该KNL计算节点，等待该KNL计算节点返回计算的结果再发送下一预设的数量的基本数据块对应的位置信息，只要可以将为KNL计算节点分配的全部数量的基本数据块对应的位置信息发送给该KNL计算节点。对于具体的分配方式，本实施例不做任何限制。

需要说明的是，对于位置信息的具体内容，只要KNL计算节点通过该位置信息获取对应的基本数据块，本实施例不做任何限制。对于KNL计算节点通过该位置信息获取对应的基本数据块的位置，也就是该基本信息块的存储位置，即总的计算数据存储位置，可以为共享存储节点，也可以为其他位置节点，本实施例对此不受任何限制。对于KNL计算节点通过该位置信息获取对应的基本数据块的方式，也就是KNL计算节点与存储基本数据块的节点的连接方式，可以为OPA高速网络，也可为其他无线网络或有线网络，本实施例对此同样不受任何限制。

步骤104：KNL计算节点根据获取的位置信息读取对应的基本数据块并对基本数据块进行计算。

其中，对于KNL计算节点对基本数据块的计算方式，可以为计算出一个基本数据块的计算结果后，将该计算结果发送给CPU控制节点，等待CPU控制节点返回的最新结果，根据该最新结果对下一基本数据块进行计算；也可以为其它计算方式，如计算出一个基本数据块的计算结果后，将该计算结果发送给CPU控制节点，直接开始对下一基本数据块的计算。对于KNL计算节点对基本数据块的计算方式，可以由设计人员或用户根据实用场景或用户需求进行设置，本实施例不做任何限制。

可以理解的是，KNL计算节点的通信传输与并行计算可以采用异步执行的方式，如KNL计算节点将一个基本数据块读到片上内存中并计算，计算完成后将计算结果直接发送给控制节点，并同时读取下一个计算数据块。也就是KNL计算节点内进行计算的同时从内存中读取计算的基本数据块，同时将计算结果发送给CPU控制节点，同时计算节点从共享存储节点中读取计算数据到内存中，即计算节点完成计算基本数据块的同时即可将计算结果发送给CPU控制节点；KNL计算节点的通信传输与并行计算也可以采用其他方式，本实施例对此不受任何限制。

需要说明的是，KNL计算节点负责对基本数据块的计算任务，KNL计算节点可以采用众核架构，最大支持粒度可以为256进程同时计算。对于KNL计算节点的具体结构，本实施例不受任何限制。

本实施例中，本发明实施例通过CPU控制节点根据每个述KNL计算节点的计算能力信息将总的计算数据分成大小相同的基本数据块，并为每个KNL计算节点分配对应数量的基本数据块，使得KNL计算节点可以计算对应数量的基本数据块，从而达到KNL集群中的KNL计算节点对大规模数据计算的负载均衡，最大限度的利用每个KNL计算节点的计算性能，提高了KNL集群的整体运行效率，缩短了KNL集群对大规模数据的处理时间，提升了计算速度，提高了用户体验度。

请参考图2、图3和图4，图2为本发明实施例所提供的另一种基于KNL集群的大规模数据的处理方法的流程图；图3为本发明实施例所提供的另一种基于KNL集群的大规模数据的处理方法的拓扑图；图4为本发明实施例所提供的另一种基于KNL集群的大规模数据的处理方法的通信示意图。该方法可以包括：

步骤201：CPU控制节点根据通过OPPA高速网络收集的各个KNL计算节点的状态信息，生成各个KNL计算节点的计算能力信息。

其中，其中，状态信息包括每个KNL计算节点的空闲核心的数量、网络的通信能力和访存带宽。

可以理解的是，本实施例中采用CPU+KNL架构的CPU控制节点可以通过100G/s的OPA高速网络收集各个KNL计算节点的状态信息，生成每个KNL计算节点对应的计算能力信息，计算能力信息可以包括对应KNL计算节点的计算能力和传输能力的信息，本实施例对此不做任何限制。

步骤202：CPU控制节点根据计算能力信息将总的计算数据分成大小相同的基本数据块，并为每个KNL计算节点分配对应数量的基本数据块。

其中，CPU控制节点可以根据计算能力信息中每个节点的计算能力和传输能力的信息确定基本数据块的大小，也可以直接根据预设的信息确定基本数据块的大小，本实施例对此不受任何限制。

可以理解的是，本实施例所提供的方法的拓扑结构可以如图3所示，控制节点nodeC、共享存储节点nodeS和计算节点nodeN之间通过OPA高速网络连接。

步骤203：CPU控制节点将为每个KNL计算节点分配的基本数据块对应的位置信息通过OPPA高速网络发送给对应的KNL计算节点。

可以理解的是，对于CPU控制节点将位置信息通过OPPA高速网络发送给对应的KNL计算节点的发送方式，可以为将为每个KNL计算节点分配的全部基础数据块的位置信息均发给对应的KNL计算节点，也可以通过其他方式。只要可以保证KNL计算节点可以在计算当前基础数据块时，可以通过下一基础数据块的位置信息读取下一基础数据块，对于具体的位置信息发送方式，本实施例不做任何限制。

步骤204：KNL计算节点根据位置信息通过OPPA高速网络从共享存储节点将一个基本数据块读取并计算。

可以理解的是，本实施例所提供的方法中的KNL计算节点的集群可以共享一个共享存储节点，CPU控制系统和每个KNL计算节点均可以拥有自己的本地存储。共享存储系统可以用于存储大规模计算数据也就是总的计算数据，CPU控制系统的本地存储可以用于存储参数数据及计算结果数据，KNL计算节点的本地存储可以用于存储读取的基本数据块和未发送的计算结果数据。

需要说明的是，KNL计算节点在计算当前基本数据块的同时可以读取下一基本数据块。

步骤205：计算完成后，将计算结果发送到CPU控制节点，并同时读取下一基本数据块。

可以理解的是，若KNL计算节点的网络繁忙，可以将计算结果存储在KNL计算节点的本地存储中，等待网络空闲再将其发送给CPU控制节点。也就是，在网络繁忙时，KNL计算节点无法发送计算结果，可以先将其存储在本地存储中，等待网络空闲再将其发送。防止因网络繁忙，造成发送失败的情况。本实施例对不受任何限制。

步骤206：CPU控制节点根据计算结果更新本地的结果，并将更新的最新结果发送到KNL计算节点。

需要说明的是，CPU控制节点将接收对应的KNL计算节点的计算结果，并根据接收到的各个KNL计算节点的计算结果，进行必要的更新处理操作，并将最新的结果返回各对应的KNL计算节点，使各对应的KNL计算节点可以开始下一数据块的计算。

步骤207：KNL计算节点根据最新结果开始下一数据块的计算。

可以理解的是，本实施例所提供的方法中KNL计算节点方式，需要根据CPU控制节点更新的最新结果才能开始下一数据块的计算。使用其他KNL计算节点方式也可以达到本实施例的目的，本实施例对此不受任何限制。

需要说明的是，本实施例所提供的方法中控制节点nodeC、共享存储节点nodeS和计算节点nodeN之间的通信可以如图4所示，控制节点nodeC可以通过集群统一管理平台(ClusterEngine)进行管理，共享存储节点nodeS可以将数据存储至文件系统(Lustre)存储。

本实施例中，本发明实施例通过CPU控制节点根据网络的通信能力及KNL计算节点的计算能力将大规模数据划分为合适的基本数据块，使得KNL计算节点的计算与通信处于异步的方式，计算与传输的相互掩盖，进一步提升KNL计算节点的计算性能，缩短了整个KNL集群的计算时间，通过共享存储节点的设置和KNL计算节点与共享存储节点间的OPA高速网络连接，提升了KNL计算节点读取基本数据块的速度，进一步提高了KNL集群的整体运行效率，缩短了KNL集群对大规模数据的处理时间，提升了计算速度，提高了用户体验度。

请参考图5，图5为本发明实施例所提供的一种基于KNL集群的大规模数据的处理系统的结构图。该系统可以包括：

CPU控制节点100，用于根据收集的各个KNL计算节点200的状态信息，生成各个所述KNL计算节点200的计算能力信息；其中，所述状态信息包括每个所述KNL计算节点200的空闲核心的数量、网络的通信能力和访存带宽；根据所述计算能力信息将总的计算数据分成大小相同的基本数据块，并为每个所述KNL计算节点200分配对应数量的所述基本数据块；将为每个所述KNL计算节点200分配的所述基本数据块对应的位置信息发送给对应的所述KNL计算节点200；

KNL计算节点200，用于根据获取的所述位置信息读取对应的所述基本数据块并对所述基本数据块进行计算。

可选的，该系统还包括：

共享存储节点，用于存储总的所述计算数据；其中，所述KNL计算节点200根据所述位置信息从共享存储节点读取对应的总的所述计算数据中的所述基本数据块并计算。

可选的，该系统还包括：

OPA高速网络，用于连接所述CPU控制节点1000、所述KNL计算节点200和所述共享存储节点。

可选的，所述KNL计算节点200，具体用于根据所述位置信息将一个所述基本数据块读取并计算；计算完成后，将计算结果发送到所述CPU控制节点100，并同时读取下一所述基本数据块；根据所述CPU控制节点100返回的最新结果开始下一数据块的计算；

其中，所述CPU控制节点100还用于根据所述计算结果更新本地的结果，并将更新的所述最新结果发送到所述KNL计算节点。

可选的，所述KNL计算节点200，还用于若网络繁忙，则将所述计算结果存储在本地存储中，等待网络空闲再将其发送给所述CPU控制节点100。

本实施例中，本发明实施例通过CPU控制节点100根据每个述KNL计算节点200的计算能力信息将总的计算数据分成大小相同的基本数据块，并为每个KNL计算节点200分配对应数量的基本数据块，使得KNL计算节点200可以计算对应数量的基本数据块，从而达到KNL集群中的KNL计算节点200对大规模数据计算的负载均衡，最大限度的利用每个KNL计算节点200的计算性能，提高了KNL集群的整体运行效率，缩短了KNL集群对大规模数据的处理时间，提升了计算速度，提高了用户体验度。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的基于KNL集群的大规模数据的处理方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于KNL集群的大规模数据的处理方法，其特征在于，包括：

CPU控制节点根据收集的各个KNL计算节点的状态信息，生成各个所述KNL计算节点的计算能力信息；其中，所述状态信息包括每个所述KNL计算节点的空闲核心的数量、网络的通信能力和访存带宽；

所述CPU控制节点根据所述计算能力信息将总的计算数据分成大小相同的基本数据块，并为每个所述KNL计算节点分配对应数量的所述基本数据块；

所述CPU控制节点将为每个所述KNL计算节点分配的所述基本数据块对应的位置信息发送给对应的所述KNL计算节点；

所述KNL计算节点根据获取的所述位置信息读取对应的所述基本数据块并对所述基本数据块进行计算。

2.根据权利要求1所述的基于KNL集群的大规模数据的处理方法，其特征在于，所述KNL计算节点根据获取的所述位置信息读取对应的所述基本数据块并进行计算，包括：

所述KNL计算节点根据所述位置信息从共享存储节点读取对应的所述基本数据块并计算。

3.根据权利要求2所述的基于KNL集群的大规模数据的处理方法，其特征在于，所述CPU控制节点、所述KNL计算节点和所述共享存储节点通过OPA高速网络连接。

4.根据权利要求1至3任一项所述的基于KNL集群的大规模数据的处理方法，其特征在于，所述KNL计算节点根据获取的所述位置信息读取对应的所述基本数据块并对所述基本数据块进行计算，包括：

所述KNL计算节点根据所述位置信息将一个所述基本数据块读取并计算；

计算完成后，将计算结果发送到所述CPU控制节点，并同时读取下一所述基本数据块；

所述CPU控制节点根据所述计算结果更新本地的结果，并将更新的最新结果发送到所述KNL计算节点；

所述KNL计算节点根据所述最新结果开始下一数据块的计算。

5.根据权利要求4所述的基于KNL集群的大规模数据的处理方法，其特征在于，将计算结果发送到所述CPU控制节点，包括：

若所述KNL计算节点的网络繁忙，则将所述计算结果存储在所述KNL计算节点的本地存储中，等待网络空闲再将其发送给所述CPU控制节点。

6.一种基于KNL集群的大规模数据的处理系统，其特征在于，包括：

CPU控制节点，用于根据收集的各个KNL计算节点的状态信息，生成各个所述KNL计算节点的计算能力信息；其中，所述状态信息包括每个所述KNL计算节点的空闲核心的数量、网络的通信能力和访存带宽；根据所述计算能力信息将总的计算数据分成大小相同的基本数据块，并为每个所述KNL计算节点分配对应数量的所述基本数据块；将为每个所述KNL计算节点分配的所述基本数据块对应的位置信息发送给对应的所述KNL计算节点；

KNL计算节点，用于根据获取的所述位置信息读取对应的所述基本数据块并对所述基本数据块进行计算。

7.根据权利要求6所述的基于KNL集群的大规模数据的处理系统，其特征在于，还包括：

共享存储节点，用于存储总的所述计算数据；其中，所述KNL计算节点根据所述位置信息从共享存储节点读取对应的总的所述计算数据中的所述基本数据块并计算。

8.根据权利要求7所述的基于KNL集群的大规模数据的处理系统，其特征在于，还包括：

OPA高速网络，用于连接所述CPU控制节点、所述KNL计算节点和所述共享存储节点。

9.根据权利要求6至8任一项所述的基于KNL集群的大规模数据的处理系统，其特征在于，所述KNL计算节点，具体用于根据所述位置信息将一个所述基本数据块读取并计算；计算完成后，将计算结果发送到所述CPU控制节点，并同时读取下一所述基本数据块；根据所述CPU控制节点返回的最新结果开始下一数据块的计算；

其中，所述CPU控制节点还用于根据所述计算结果更新本地的结果，并将更新的所述最新结果发送到所述KNL计算节点。

10.根据权利要求9所述的基于KNL集群的大规模数据的处理系统，其特征在于，所述KNL计算节点，还用于若网络繁忙，则将所述计算结果存储在本地存储中，等待网络空闲再将其发送给所述CPU控制节点。