CN111090514B - 一种分配计算能力的方法及系统 - Google Patents

Abstract

本发明公开了一种分配计算能力的方法及系统，涉及实时交通技术领域，主要目的在于提高对原始数据集合进行处理的效率。本发明主要的技术方案为：将原始数据集合中的多个数据标识均匀的匹配到多个第一计算节点；所述数据标识用于标记原始数据；所述第一计算节点根据匹配到的数据标识，获取所述数据标识对应的原始数据，并对所述原始数据进行数据处理，得到第一结果信息。

Description

一种分配计算能力的方法及系统

技术领域

本发明涉及实时交通技术领域，尤其涉及一种分配计算能力的方法及系统。

背景技术

现有的实时交通系统能够根据道路上车辆的行驶轨迹以及其他辅助信息(如道路施工、临时管控等交通事件)，获取每条道路的实时交通路况并发布。其中，实时交通路况(畅通、缓行、拥堵等状态)主要用于反映道路的通行能力，实时交通路况可以通过绿、黄、红等颜色在电子地图中直观展示。

发明人在对现有实时交通系统进行研究的过程中发现，为了比较快速地获取电子地图中所有道路的实时交通路况，现有实时交通系统会包括两个以上的计算节点，每个计算节点均具备获取道路的实时交通路况的技术能力，并且现有技术是将电子地图按网格划分之后，再分配计算节点，即，现有技术为计算节点分配计算任务，是以网格为单位进行分配，每个计算节点计算分配给其的网格内所有道路的实时交通路况，当所有计算节点完成计算后，基于每个网格的计算结果，可以得出电子地图中道路整体的实时交通路况。但发明人发现以网格为单位分配计算任务会存在如下问题：

不同网格中的道路数量、道路连接关系复杂度及实时车流量等存在差异，这会导致多个计算节点不能同步完成计算任务，从而影响道路整体的实时交通路况的发布。比如，一个网格框定的是北京市区的道路，而另一个网格框定的是北京郊区的道路，这两个网格中的道路数量、道路上实时行驶的车辆回传的行驶轨迹等影响到实时交通路况计算的数据存在量级上的差距，因此，当一个计算节点处理的都是高数据量的网格时，其相对于处理低数据量的计算节点，计算结果的输出会有明显的延迟，虽然电子地图可以按网格进行划分，但位于不同网格的道路在现实世界仍然存在连通关系，所以，道路整体的实时交通路况需要在得到所有网格的计算结果后再整体进行融合，所以，一旦有计算单元没有及时输出计算结果，则会影响道路整体的实时交通路况的处理效率。

发明内容

鉴于上述问题，本发明提出了一种分配计算能力的方法及系统，主要目的在于提高对原始数据集合进行处理的效率。

为达到上述目的，本发明主要提供如下技术方案：

一方面，本发明提供一种分配计算能力的方法，具体包括：

将原始数据集合中的多个数据标识均匀的匹配到多个第一计算节点；所述数据标识用于标记原始数据；

所述第一计算节点根据匹配到的数据标识，获取所述数据标识对应的原始数据，并对所述原始数据进行数据处理，得到第一结果信息。

优选的，所述方法还包括步骤：

以第一结果信息中预设的第一标识为单位，将各个第一结果信息均匀的匹配到多个第二计算节点；所述第一结果信息包括至少一个第一标识；

所述第二计算节点根据匹配到的第一标识，对第一标识对应的第一结果信息进行数据处理。

优选的，所述方法还包括步骤：

以第一结果信息中预设的第二标识为单位，将各个原始数据均匀的匹配到多个第二计算节点；所述第一结果信息包括至少一个第二标识；

所述第二计算节点根据匹配到的第二标识，对第二标识对应的原始数据进行数据处理。

优选的，所述第二计算节点根据匹配到的第一标识，对第一标识对应的第一结果信息进行数据处理的步骤，包括：所述第二计算节点根据匹配到的第一标识，对匹配到的第一标识所在的第一结果信息的数据标识进行统计，得到第二计算节点中同一第一标识对应的数据标识的数量。

另一方面，本发明提供一种分配计算能力的系统，所述系统包括：

数据标识匹配节点，用于将原始数据集合中的多个数据标识均匀的匹配到多个第一计算节点；所述数据标识用于标记原始数据；

所述第一计算节点根据匹配到的数据标识，获取所述数据标识对应的原始数据，并对所述原始数据进行数据处理，得到第一结果信息。

优选的，所述系统还包括：

所述第一计算节点还用于，以第一结果信息中预设的第一标识为单位，将各个第一结果信息均匀的匹配到多个第二计算节点；所述第一结果信息包括至少一个第一标识；

所述第二计算节点根据匹配到的第一标识，对第一标识对应的第一结果信息进行数据处理。

优选的，所述系统还包括：

所述第一计算节点还用于，以第一结果信息中预设的第二标识为单位，将各个原始数据均匀的匹配到多个第二计算节点；所述第一结果信息包括至少一个第二标识；

所述第二计算节点根据匹配到的第二标识，对第二标识对应的原始数据进行数据处理。

优选的，所述系统还包括：

快速计算匹配节点，用于以第一结果信息中预设的第一标识为单位，将各个第一计算节点得到的所有第一结果信息均匀的匹配到多个第二计算节点；所述第一结果信息包括至少一个第一标识；

所述第二计算节点根据匹配到的第一标识，对第一标识对应的第一结果信息进行数据处理。

优选的，所述系统还包括：

快速计算匹配节点，用于以第一结果信息中预设的第二标识为单位，将各个第一计算节点得到的所有原始数据均匀的匹配到多个第二计算节点；所述第一结果信息包括至少一个第二标识；

所述第二计算节点根据匹配到的第二标识，对第二标识对应的原始数据进行数据处理。

优选的，所述第二计算节点在执行根据匹配到的第一标识，对第一标识对应的第一结果信息进行数据处理的步骤时，具体包括：所述第二计算节点根据匹配到的第一标识，对匹配到的第一标识所在的第一结果信息的数据标识进行统计，得到第二计算节点中同一第一标识对应的数据标识的数量。

另一方面，本发明提供一种存储介质，所述存储介质用于存储的计算机程序，其中，所述计算机程序被处理器执行以实现上述的分配计算能力的方法。

另一方面，本发明提供一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述的分配计算能力的方法。

借由上述技术方案，本发明提供的一种分配计算能力的方法及系统，是基于原始数据的数据标识进行数据分配，在多个第一计算节点中均匀分配多个数据标识，再由第一计算节点根据匹配到的数据标识处理对应的原始数据，输出计算结果。由于是根据数据标识进行的均匀分配，各个第一计算节点处理原始数据的时间也就基本均匀，提高了对原始数据集合进行处理的效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提出的一种分配计算能力的方法的流程图；

图2示出了本发明实施例提出的另一种分配计算能力的方法的流程图；

图3示出了本发明实施例提出的一种分配计算能力的系统的组成示意图；

图4示出了本发明实施例提出的另一种分配计算能力的装置的组成示意图；

图5示出了本发明实施例提出的另一种分配计算能力的装置的组成示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种分配计算能力的方法，本方法具体步骤如图1所示，该方法包括：

步骤101、将原始数据集合中的多个数据标识均匀的匹配到多个第一计算节点。

其中，数据标识用于标记原始数据。一个数据标识对应至少一个原始数据，并且一个数据标识被匹配到唯一的一个第一计算节点中，而一个第一计算节点中可以分配到多个数据标识。

步骤102、第一计算节点根据匹配到的数据标识，获取该数据标识对应的原始数据，并对该原始数据进行数据处理，得到第一结果信息。

基于上述的处理步骤可知，每个第一计算节点所匹配到的数据标识数量是基本相同的，故处理原始数据的时间也就基本均匀，从而提高了对原始数据集合进行处理的效率。

本方法应用场景广泛，例如在实时交通路况的应用场景下，数据标识可以具体为导航用户的用户标识，那么该用户标识所对应的原始数据就是该用户在实时统计的单位时间段内所得到的定位数据，如GPS数据或北斗数据等。由于每个用户在单位时间段内得到的定位数据的数据量相似，因此，经过匹配后，每个第一计算节点中得到的待计算数据的数据量是基本相同的，在各第一计算节点的数据处理能力相当的情况下，就可以确保各第一计算节点得到第一结果信息的时间基本相同。该方法应用于实时交通路况的数据处理时，解决了现有以地图网格划分待处理数据而导致的计算效率低下问题。本实施例中，用户标识可以是用户ID，具体可采用用户ID的哈希值，一个用户标识对应唯一的一个原始数据。

具体的，在实时交通路况的应用场景下，上述实施例中的第一结果信息具体为用户行驶轨迹信息，该用户行驶轨迹信息是根据该用户对应的定位数据处理得到的。一般地，一个第一计算节点会计算得到多个用户的用户行驶轨迹信息，而所有第一计算节点得到的用户行驶轨迹信息就是全路网中所有用户的实时行驶轨迹，最后，基于这些用户行驶轨迹信息计算实时交通路况，即道路中某一点的交通路况可以表示为经过该点的用户行驶轨迹的数量。

通过上述实施例的说明可见，本发明实施例所采用的一种分配计算能力的方法，在分析道路的实时路况时，不再是基于网格地域来匹配计算节点的待处理数据，而根据用户的用户标识，将用户均匀匹配到多个第一计算节点中，再由第一计算节点通过用户标识获取该用户的定位数据，得到该用户的行驶轨迹信息。经过该方式处理，能够确保多个第一计算节点得到计算结果的时间基本相同，从而根据行驶轨迹可以进一步统计出道路的实时路况，避免了出现单个节点由于数据量过大导致计算结果输出延迟的问题。

以上述图1所示的方法为基础，本发明的另一实施例将说明如何进一步提高数据处理的效率。具体如图2所示，该方法还包括：

步骤103、以第一结果信息中预设的第一标识为单位，将各个第一结果信息均匀的匹配到多个第二计算节点。

其中，第一结果信息包括至少一个第一标识。

需要说明的是，在向第二计算节点匹配第一结果信息时，由于有多个第一计算节点，如图4所示，可以是由每个第一计算节点根据其自身得到的第一结果信息均匀地向多个第二计算节点匹配；然而，多个第一计算节点各自进行均匀匹配，整体上可能会出现个别第二计算节点匹配不均匀的情况，例如，第一标识平均分配后有余数，刚好各个第一计算节点根据余出的第一标识，将对应的第一结果信息都分配到某几个或某一个第二计算节点中时，将会导致某几个或某一个第二计算节点中的数据明显与其他第二计算节点不同。因此，在一些实施例中，如图5所示，为了确保多个第二计算节点中匹配到的数据也是基本均匀的，也可以设置一个统筹匹配所有第一计算节点中第一结果信息的处理节点，即快速计算匹配节点。该快速计算匹配节点的工作是从第一计算节点中获取对应的第一结果信息，并为第一结果信息匹配对应的第二计算节点，进而向第一计算节点反馈对应的第二计算节点，以便第一计算节点将第一结果信息发送至对应的第二计算节点；也是以由快速计算匹配节点直接将第一结果信息转发至第二计算节点。在本实施例中，快速计算匹配节点可以设置在某个第一计算节点或第二计算节点中，也可以是单独设置的一个节点。

步骤104、第二计算节点根据匹配到的第一标识，对第一标识对应的第一结果信息进行数据处理。

根据原始数据均匀分配不一定是最优解，本发明通过第一标识进行再分配，用户可根据需要设置第一标识，很好的满足了用户的各类计算需求。两次计算能力的分配更加细致，可进一步提高数据处理效率。

其中，第二计算节点进行数据处理可根据具体的需要进行相应的处理，例如，对匹配到的第一标识所在的第一结果信息的数据标识进行统计，得到第二计算节点中同一第一标识对应的数据标识的数量。

同样在实时交通路况的应用场景下，第一标识可以是道路标识，用户行驶轨迹信息中包含至少一个道路标识，即用户在单位时间内可能经过了一条或多条道路。以用户行驶轨迹信息中的道路标识为单位，将各个用户行驶轨迹信息均匀的匹配到多个第二计算节点；使得各个第二计算节点对匹配的用户行驶轨迹信息进行数据处理。各个第二计算节点根据匹配到的道路标识对道路标识对应的用户行驶轨迹信息进行处理即可。由于各个第二计算节点处理的用户行驶轨迹信息基本相同，避免了出现单个节点由于数据量过大导致计算结果输出延迟的问题。第二计算节点对匹配的用户行驶轨迹信息进行数据处理，例如，对匹配到的用户行驶轨迹信息的用户标识进行统计，得到同一道路标识对应的用户标识的数量，也就是得到了某一道路下的车流量。可见，采用上述方法，即便是节假日热点区域拥堵的路况下，也能均匀的计算出各个道路下的车流量。

上述步骤对应于实际道路交通路况的处理过程，可以通过一套分配计算能力的系统来实现，该系统中具有多个用于计算用户行驶轨迹的第一计算节点，以及多个用于计算道路路况的第二计算节点，此外，还具有一个用于为第一计算节点分配数据标识，即分配用户标识的数据标识匹配节点，一些实施例中还可以具有一个快速计算匹配节点，用于将第一计算节点得到的数据进一步分配给第二计算节点，该数据标识匹配节点与快速计算匹配节点可以是第一计算节点或第二计算节点中的任意一个，也可以是单独设置的一个计算节点。

数据标识匹配节点用于统计原始数据中的数据标识，即从所采集的用户定位数据中，统计出所有的用户标识，再根据用户标识的具体数量，以及第一计算节点的数量，以用户标识为单位均匀地为每一个第一计算节点匹配一定数量的用户标识。

之后，由第一计算节点根据每个用户的用户标识获取单位时间段内该用户的定位数据，并利用这些定位数据生成用户的行驶轨迹信息，该行驶轨迹信息中包括具体的道路标识，该道路标识用于标注用户在电子地图中的所处的具体道路，其中，行驶轨迹信息中至少包含一个道路标识，比如，当用户在单位时间段内经过了两个不同路段时，那么该用户的行驶轨迹信息中将会记录有这两个路段的道路标识。

以图5所示的实施例为例，快速计算匹配节点统计出所有第一计算节点得到的用户的行驶轨迹信息后，将根据道路标识确定行驶轨迹信息所对应的第二计算节点，并告之各个第一计算节点向对应的第二计算节点发送行驶轨迹信息，或者是直接由快速计算匹配节点获取行驶轨迹信息并转发至对应的第二计算节点。

最终，由第二计算节点具体统计经过各个道路标识的行驶轨迹数量，即行驶在各道路标识对应的路段中用户数量。在该实施例中，第二计算节点的数量可以仅使用一个，但在对全路网计算时，由于数据量较大，一个节点的处理效率将严重影响路况更新的实时性，为此，采用多个第二计算节点来分摊需要处理的道路标识，从而提高整体实时路况的处理效率。

需要说明的是，第二计算节点中的所匹配的道路标识可以是预先设置好的，也可以是基于道路标识所对应的行驶轨迹数量而动态调整的，也就是说，当一个第二计算节点中所需处理的数据较多时，将不再为其继续分配新的道路标识，或者将其未处理的道路标识调整至其他空闲的第二计算节点中。

例如，在实时统计的单位时间段内采集的原始定位数据(10000条)中一共有101个用户的用户标识，假设第一计算节点共有5个，第二计算节点有3个，需要统计的实时路况共含有10条道路，即10个道路标识。那么，上述实施例在统计实时路况时，先将101个用户平均分到5个第一计算节中，出现无法整除的情况，基本均匀的匹配即可，即4个第一计算节点需要处理20个用户的定位数据，剩下的那个第一计算节点需要处理21个用户的定位数据，实际应用中，可通过计算余数，再按照预先设定的分配排序逐一分配各条数据。5个第一计算节点将共生成101条用户行驶轨迹，且每条用户行驶轨迹中都记录有至少一个的道路标识。之后，各个第一计算节点会将其处理得到的用户行驶轨迹根据其所含有的道路标识发送到对应处理的第二计算节点中，由第二计算节点统计各道路标识对应的用户数量。具体的，各个第一计算节点可以根据快速计算匹配节点反馈的道路标识与第二计算节点的对应关系，将其处理得到的所有道路标识均匀的匹配到对应处理的第二计算节点中，由此，统计各个第二计算节点得到的各个道路标识对应的用户数量，也就得到了需要统计实时路况的道路的实时路况；也可以先筛选一下，仅将10个需要统计实时路况的道路标识均匀的匹配到对应处理的第二计算节点中，以节约第二计算节点的资源。例如，假设某一个第一计算节点处理得到的所有用户行驶轨迹信息中，共含有30个道路标识，这30个道路标识将由快速计算匹配节点来确定各个道路标识所对应的两个第二计算节点中的一个，30个道路标识中，对于来自不同的用户行驶轨迹信息中的道路标识，快速计算匹配节点可以确定分别向这两个第二计算节点各发送一定数量的用户行驶轨迹信息，以确保两个第二计算节点中处理的数据量基本相同；对于来自同一用户行驶轨迹信息中的道路标识，第一计算节点根据来自同一用户行驶轨迹信息中的道路标识的数量对用户行驶轨迹信息进行对应数量的复制，之后基本均匀的将用户行驶轨迹信息分别发送至由快速计算匹配节点确定的对应处理的第二计算节点，例如，一个用户行驶轨迹信息中存在有3个道路标识，那么，处理该用户行驶轨迹信息的第一计算节点会将该条数据进行复制，得到3条相同的用户行驶轨迹信息，并根据快速计算匹配节点计算的匹配结果将这3条相同的用户行驶轨迹信息发送至对应的第二计算节点中。最终，由两个第二计算节点统计出各个道路标识对应的用户数，其他第一计算节点以此类推，即可由第二计算节点得到所有道路标识的实时路况，其中也就包含了这10条需要统计实时路况的道路的实时路况。

综上，本发明应用于实时交通路况处理系统中时，就是以将采集的定位数据以用户为单位进行划分，由于实时交通路况是根据单位时间段内的用户行驶轨迹统计得到的，而计算节点在处理单个用户实时的行驶轨迹的效率是基本相同的，因此，本发明是将所有的用户均匀匹配到多个第一计算节点中，由第一计算节点根据匹配到的用户获取对应的定位数据加以处理，得到用户的行驶轨迹，最终汇总第一计算节点得到的结果就可以统计出实时交通路况。相对于现有技术中以网格为单位划分待处理数据的方式，本发明能够有效平衡每个计算节点中待处理数据的数据量，使得每个第一计算节点输出计算结果的时间基本相同，避免了长尾现象的出现，从而充分利用了各个节点的计算资源，提高了实时交通路况处理的效率。

以上，是本发明实施例基于实时交通路况统计的应用场景的具体说明，而对本发明实施例中的第二计算节点，其可以实现的功能不限于实时交通路况统计，还可以用于统计其他的数据，如车辆违章统计，外地号牌车辆统计等等，其具体的区别在于：第一计算节点在得到多个用户的行驶轨迹信息后，第一计算节点或者快速计算匹配节点根据不同的条件向多个第二计算节点分配需要处理的数据，进而使第二计算节点实现不同的功能。

例如，第一计算节点得到第一结果信息后，第一计算节点或者快速计算匹配节点以第一结果信息中预设的第二标识为单位，将各个原始数据均匀的匹配到多个第二计算节点；第一结果信息包括至少一个第二标识。第二计算节点根据匹配到的第二标识，对第二标识对应的原始数据进行数据处理。第一标识与第二标识可以相同，也可不同。如此设置，使得在原始数据中不包含第二标识、但原始数据根据第二标识均匀分配能实现最优化处理的情况中，计算能力得到更好的分配。

以对道路上的外地号牌车辆统计、快速计算匹配节点进行分配为例，在第一计算节点处理得到用户的用户行驶轨迹后，快速计算匹配节点将以预设的第二标识为单位，其中，该第二标识为道路标识，将各个原始数据均匀的匹配到多个第二计算节点。第二计算节点根据匹配到的道路标识，对道路标识对应的原始数据进行数据处理，例如，从原始数据中提取用户的车牌号，判断车牌号是否是外地车牌，从而得到匹配到的道路标识对应的外地车牌数量。根据各个第二计算节点得到的外地车牌数量，即可得到各个道路上外地车的数量。而对于第二计算节点，其可以动态地调整所处理的不同地区号牌的车辆。

可见，本发明实施例所提出的分配计算能力的方法可以应用于不同的数据处理场景下，以提高大量数据的实时处理效率。

进一步的，作为对上述图1与图2所示方法的实现，本发明实施例提供了一种分配计算能力的系统，该系统主要应用于实时交通路况的数据处理，解决现有以地图网格划分待处理数据而导致的计算效率低下问题。为便于阅读，本系统实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的系统能够对应实现前述方法实施例中的全部内容。该系统如图3所示，具体包括：

数据标识匹配节点31，用于将原始数据集合中的多个数据标识均匀的匹配到多个第一计算节点32；所述数据标识用于标记原始数据；

所述第一计算节点根据匹配到的数据标识，获取所述数据标识对应的原始数据，并对所述原始数据进行数据处理，得到第一结果信息。

进一步的，在如图4所示的实施例中，所述系统还包括：

所述第一计算节点32还用于，以第一结果信息中预设的第一标识为单位，将各个第一结果信息均匀的匹配到多个第二计算节点33；所述第一结果信息包括至少一个第一标识；

所述第二计算节点33根据匹配到的第一标识，对第一标识对应的第一结果信息进行数据处理。

进一步的，在如图4所示的实施例中，所述系统还包括：

所述第一计算节点32还用于，以第一结果信息中预设的第二标识为单位，将各个原始数据均匀的匹配到多个第二计算节点33；所述第一结果信息包括至少一个第二标识；

所述第二计算节点33根据匹配到的第二标识，对第二标识对应的原始数据进行数据处理。

进一步的，如图5所示的实施例中，在图3的基础上所述系统还包括：

快速计算匹配节点34，用于以第一结果信息中预设的第一标识为单位，将各个第一计算节点32得到的所有第一结果信息均匀的匹配到多个第二计算节点；所述第一结果信息包括至少一个第一标识；

所述第二计算节点33根据匹配到的第一标识，对第一标识对应的第一结果信息进行数据处理。

进一步的，如图5所示，所述系统还包括：

快速计算匹配节点34，用于以第一结果信息中预设的第二标识为单位，将各个第一计算节32点得到的所有原始数据均匀的匹配到多个第二计算节点33；所述第一结果信息包括至少一个第二标识；

所述第二计算节点33根据匹配到的第二标识，对第二标识对应的原始数据进行数据处理。

进一步的，所述第二计算节点32在执行根据匹配到的第一标识，对第一标识对应的第一结果信息进行数据处理的步骤时，具体包括：所述第二计算节点根据匹配到的第一标识，对匹配到的第一标识所在的第一结果信息的数据标识进行统计，得到第二计算节点中同一第一标识对应的数据标识的数量。

综上所述，本发明实施例所采用的分配计算能力的方法及系统，在向计算节点分配待处理数据时是基于数据量均匀地为多个计算节点分配，以便多个计算节点能够同时输出计算结果，使得各个节点的处理资源能够得到充分利用。在应用于实时交通路况统计的场景中，本发明是基于定位数据的用户标识匹配对应的第一计算节点，以使各个第一计算节点能够同时输出多个用户的行驶路径信息，以实现对实时路况的进一步处理。同时，为了提高实时路况的更新效率，本发明通过设置多个第二计算节点来分摊待统计的数据，并且可以通过动态调整数据分配实现多个第二计算节点输出同步性，确保在最短时间内得到统计结果并输出。同时，本发明实施例不仅可用于实时路况统计，对于现有技术中采用网格化分配数据的数据统计场景，均可通过改变不同的第二标识加以替代，实现提高数据统计效率的效果。

进一步的，本发明实施例还提供了一种存储介质，该存储介质用于存储计算机程序，其中，所述计算机程序被处理器执行以实现如上所述的分配计算能力的方法。

另外，本发明实施例还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述的分配计算能力的方法。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

可以理解的是，上述方法及系统中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种分配计算能力的方法，其特征在于，所述方法包括：

数据标识匹配节点将原始数据集合中的多个数据标识均匀的匹配到多个第一计算节点；所述数据标识用于标记原始数据；

所述第一计算节点根据匹配到的数据标识，获取所述数据标识对应的原始数据，并对所述原始数据进行数据处理，得到第一结果信息；

所述方法还包括：

所述第一计算节点以第一结果信息中预设的第二标识为单位，将各个原始数据均匀的匹配到多个第二计算节点；所述第一结果信息包括至少一个第二标识；

所述第二计算节点根据匹配到的第二标识，对第二标识对应的原始数据进行数据处理。

2.根据权利要求1所述的方法，其特征在于，还包括步骤：

所述第一计算节点以第一结果信息中预设的第一标识为单位，将各个第一结果信息均匀的匹配到多个第二计算节点；所述第一结果信息包括至少一个第一标识；

所述第二计算节点根据匹配到的第一标识，对第一标识对应的第一结果信息进行数据处理。

3.根据权利要求2所述的方法，其特征在于，所述第二计算节点根据匹配到的第一标识，对第一标识对应的第一结果信息进行数据处理的步骤，包括：所述第二计算节点根据匹配到的第一标识，对匹配到的第一标识所在的第一结果信息的数据标识进行统计，得到第二计算节点中同一第一标识对应的数据标识的数量。

4.一种分配计算能力的系统，其特征在于，所述系统包括：

数据标识匹配节点，用于将原始数据集合中的多个数据标识均匀的匹配到多个第一计算节点；所述数据标识用于标记原始数据；

所述第一计算节点，用于根据匹配到的数据标识，获取所述数据标识对应的原始数据，并对所述原始数据进行数据处理，得到第一结果信息；

所述第一计算节点还用于，以第一结果信息中预设的第二标识为单位，将各个原始数据均匀的匹配到多个第二计算节点；所述第一结果信息包括至少一个第二标识；

所述第二计算节点，用于根据匹配到的第二标识，对第二标识对应的原始数据进行数据处理。

5.根据权利要求4所述的系统，其特征在于，还包括：

所述第一计算节点还用于，以第一结果信息中预设的第一标识为单位，将各个第一结果信息均匀的匹配到多个第二计算节点；所述第一结果信息包括至少一个第一标识；

所述第二计算节点还用于，根据匹配到的第一标识，对第一标识对应的第一结果信息进行数据处理。

6.根据权利要求4所述的系统，其特征在于，还包括：

快速计算匹配节点，用于以第一结果信息中预设的第一标识为单位，将各个第一计算节点得到的所有第一结果信息均匀的匹配到多个第二计算节点；所述第一结果信息包括至少一个第一标识；

所述第二计算节点还用于，根据匹配到的第一标识，对第一标识对应的第一结果信息进行数据处理。

7.根据权利要求5或6所述的系统，其特征在于，所述第二计算节点在执行根据匹配到的第一标识，对第一标识对应的第一结果信息进行数据处理的步骤时，具体包括：所述第二计算节点根据匹配到的第一标识，对匹配到的第一标识所在的第一结果信息的数据标识进行统计，得到第二计算节点中同一第一标识对应的数据标识的数量。

8.一种分配计算能力的系统，其特征在于，所述系统包括：

数据标识匹配节点，用于将原始数据集合中的多个数据标识均匀的匹配到多个第一计算节点；所述数据标识用于标记原始数据；

所述第一计算节点，用于根据匹配到的数据标识，获取所述数据标识对应的原始数据，并对所述原始数据进行数据处理，得到第一结果信息；

快速计算匹配节点，用于以第一结果信息中预设的第二标识为单位，将各个第一计算节点得到的所有原始数据均匀的匹配到多个第二计算节点；所述第一结果信息包括至少一个第二标识，所述快速计算匹配节点是统筹匹配所有第一计算节点中第一结果信息的处理节点；

所述第二计算节点，用于根据匹配到的第二标识，对第二标识对应的原始数据进行数据处理。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序被处理器执行以实现如权利要求1-3中任意一项权利要求所述的分配计算能力的方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1-3中任意一项权利要求所述的分配计算能力的方法。

Images