CN102929945B - 数据分配装置和数据分配方法 - Google Patents

Abstract

本发明提供了一种数据分配装置，包括：节点选择单元，用于根据预设的多个数据节点之间的数据收发关系，从所述多个数据节点中选择仅作为发送方的数据节点；数据发送单元，用于根据所述仅作为发送方的数据节点对应的数据收发关系，将所述仅作为发送方的数据节点的数据发送至相应的作为接收方的数据节点；过滤单元，用于从所述多个数据节点中过滤掉所述仅作为发送方的数据节点。本发明还提出了一种数据分配方法。通过本发明的技术方案，能够提高数据分配的效率和自动化程度，便于人工操作。

Description

数据分配装置和数据分配方法

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种数据分配装置和一种数据分配方法。

背景技术

在信息系统应用中，数据的分配是一项重要的、复杂的工作，因此，一种高效的、自动化程度高的数据分配模型和方法具有广阔的应用场景。

目前数据分配在信息系统中有如下几种实现方式：

1、只支持一级分配，即数据归集到发送方，然后从发送方分配到接收方；

2、支持多级分配，但在多级分配时，需要手工指定分配的顺序；

虽然上述的几种实现方式都能支持数据的分配，但都存在一些不足：在第一种方式中，需要手工处理一部分发送方到接收方的数据分配，工作量非常大。而第二种方式虽然支持了多级分配，但需要手工指定分配的顺序，而且数据分配的效率很低。

因此，需要一种新的数据分配技术，能够提高数据分配的效率和自动化程度，便于人工操作。

发明内容

本发明正是基于上述问题，提出了一种数据分配技术，能够提高数据分配的效率和自动化程度，便于人工操作。

有鉴于此，本发明提出了一种数据分配装置，包括：节点选择单元，用于根据预设的多个数据节点之间的数据收发关系，从所述多个数据节点中选择仅作为发送方的数据节点；数据发送单元，用于根据所述仅作为发送方的数据节点对应的数据收发关系，将所述仅作为发送方的数据节点的数据发送至相应的作为接收方的数据节点；过滤单元，用于从所述多个数据节点中过滤掉所述仅作为发送方的数据节点。

在该技术方案中，可以从多个数据节点中选择仅作为发送方的数据节点作为数据发送的第一级起始点，再从这些第一级起始点开始分配数据，由于数据发送方和接收方的关系是预先设定的，所以数据可以按照预设的分配关系从第一级起始点分配至第一级起始点的接收方。

完成第一级分配后，若多个数据节点间还存在数据收发关系，则将第一级起始点过滤掉，并从剩余的多个数据节点中选择仅作为发送方的数据节点作为数据发送的第二级起始点，并重复上述步骤，直至多个数据节点间不存在数据收发关系为止，则完成了多个数据节点之间的数据分配。

通过这种数据分配方式，能够实现自动化的分配，使多级分配无需人工确认分配顺序，极大地提高了数据分配效率，方便用户操作。

在上述技术方案中，优选地，所述节点选择单元包括：存储子单元，用于按所述多个数据节点之间的数据收发关系，将所述多个数据节点中作为发送方的数据节点以及相应的作为接收方的数据节点，对应地存储至第一数据表中，以及，将所述仅作为发送方的数据节点存储到第二数据表中；查询子单元，用于根据所述第一数据表查询到所述仅作为发送方的数据节点。

在上述技术方案中，优选地，所述数据发送单元用于，根据所述第一数据表和所述第二数据表，将所述仅作为发送方的数据节点的数据发送至相应的作为接收方的数据节点。

在上述技术方案中，优选地，所述过滤单元用于，从所述第一数据表中过滤掉同时存储在所述第二数据表中的所述仅作为发送方的数据节点，以及在过滤操作完成后清空所述第二数据表。

在该技术方案中，数据的分配路径可以抽象为一个有向无环图，通过采用中间表的方式实现该有向图的拓扑排序，进而处理数据分配，可以避免将待分配数据全部加载到内存中，从而减少内存的消耗，并且能够实现数据分配的批量处理和批量释放，提高了数据分配的效率。

在上述任一技术方案中，优选地，所述数据发送单元还用于，根据预设的所述仅作为发送方的数据节点对应的待分配数据类型和相应的分配方法，将所述仅作为发送方的数据节点的数据发送至相应的作为接收方的数据节点。

在该技术方案中，一个数据发送方有多种待分配类型，每一种待分配类型可以对应不同的分配方法，在数据分配前，已经设置每种待分配数据的待分配类型和相应的分配方法，所以“数据发送方”和“待分配数据类型及分配方法”是组合关系，而“数据发送方”和“数据接受方”也是组合关系，这两对组合关系确定了数据分配的具体路径，由于数据发送方和数据接受方是固定的，因此可以根据待分配数据类型和相应的分配方法确定数据分配的路径。

根据本发明的又一方面，还提出了一种数据分配方法，包括：步骤202，根据预设的多个数据节点之间的数据收发关系，从所述多个数据节点中选择仅作为发送方的数据节点；步骤204，根据所述仅作为发送方的数据节点对应的数据收发关系，将所述仅作为发送方的数据节点的数据发送至相应的作为接收方的数据节点；步骤206，从所述多个数据节点中过滤掉所述仅作为发送方的数据节点，并返回步骤202，直至所述多个数据节点之间不存在数据收发关系。

在该技术方案中，可以从多个数据节点中选择仅作为发送方的数据节点作为数据发送的第一级起始点，再从这些第一级起始点开始分配数据，由于数据发送方和接收方的关系是预先设定的，所以数据可以按照预设的分配关系从第一级起始点分配至第一级起始点的接收方。

完成第一级分配后，若多个数据节点间还存在数据收发关系，则将第一级起始点过滤掉，并从剩余的多个数据节点中选择仅作为发送方的数据节点作为数据发送的第二级起始点，并重复上述步骤，直至多个数据节点间不存在数据收发关系为止，则完成了多个数据节点之间的数据分配。

通过这种数据分配方式，能够实现自动化的分配，使多级分配无需人工确认分配顺序，极大地提高了数据分配效率，方便用户操作。

在上述技术方案中，优选地，所述步骤202包括：步骤2022，按所述多个数据节点之间的数据收发关系，将所述多个数据节点中作为发送方的数据节点以及相应的作为接收方的数据节点，对应地存储至第一数据表中；步骤2024，根据所述第一数据表查询到所述仅作为发送方的数据节点，以及将所述仅作为发送方的数据节点存储到第二数据表中。

在上述技术方案中，优选地，所述步骤204包括：根据所述第一数据表和所述第二数据表，将所述仅作为发送方的数据节点的数据发送至相应的作为接收方的数据节点。

在上述技术方案中，优选地，所述步骤206包括：从所述第一数据表中过滤掉同时存储在所述第二数据表中的所述仅作为发送方的数据节点，并在过滤完成后清空所述第二数据表。

在该技术方案中，数据的分配路径可以抽象为一个有向无环图，通过采用中间表的方式实现该有向图的拓扑排序，进而处理数据分配，可以避免将待分配数据全部加载到内存中，从而减少内存的消耗，并且能够实现数据分配的批量处理和批量释放，提高了数据分配的效率。

在上述任一技术方案中，优选地，所述步骤204包括：根据预设的所述仅作为发送方的数据节点对应的待分配数据类型和相应的分配方法，将所述仅作为发送方的数据节点的数据发送至相应的作为接收方的数据节点。

在该技术方案中，一个数据发送方有多种待分配类型，每一种待分配类型可以对应不同的分配方法，在数据分配前，已经设置每种待分配数据的待分配类型和相应的分配方法，所以“数据发送方”和“待分配数据类型及分配方法”是组合关系，而“数据发送方”和“数据接受方”也是组合关系，这两对组合关系确定了数据分配的具体路径，由于数据发送方和数据接受方是固定的，因此可以根据待分配数据类型和相应的分配方法确定数据分配的路径。

通过以上技术方案，能够提高数据分配的效率和自动化程度，便于人工操作。

附图说明

图1示出了根据本发明的实施例的数据分配装置的框图；

图2示出了根据本发明的实施例的数据分配方法的流程图；

图3示出了根据本发明的实施例的存储模型的示意图；

图4A和图4B示出了根据本发明的实施例的自动分配算法的示意图；

图5示出了根据本发明的实施例的中间表的示意图；

图6示出了根据本发明的实施例的数据分配方法的具体流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图1示出了根据本发明的实施例的数据分配装置的框图。

如图1所示，根据本发明的实施例的数据分配装置100包括：节点选择单元102，用于根据预设的多个数据节点之间的数据收发关系，从多个数据节点中选择仅作为发送方的数据节点；数据发送单元104，用于根据仅作为发送方的数据节点对应的数据收发关系，将仅作为发送方的数据节点的数据发送至相应的作为接收方的数据节点；过滤单元106，用于从多个数据节点中过滤掉仅作为发送方的数据节点。

可以从多个数据节点中选择仅作为发送方的数据节点作为数据发送的第一级起始点，再从这些第一级起始点开始分配数据，由于数据发送方和接收方的关系是预先设定的，所以数据可以按照预设的分配关系从第一级起始点分配至第一级起始点的接收方。

完成第一级分配后，若多个数据节点间还存在数据收发关系，则将第一级起始点过滤掉，并从剩余的多个数据节点中选择仅作为发送方的数据节点作为数据发送的第二级起始点，并重复上述步骤，直至多个数据节点间不存在数据收发关系为止，则完成了多个数据节点之间的数据分配。

通过这种数据分配方式，能够实现自动化的分配，使多级分配无需人工确认分配顺序，极大地提高了数据分配效率，方便用户操作。

优选地，节点选择单元102包括：存储子单元1022，用于按多个数据节点之间的数据收发关系，将多个数据节点中作为发送方的数据节点以及相应的作为接收方的数据节点，对应地存储至第一数据表中，以及，将仅作为发送方的数据节点存储到第二数据表中；查询子单元1024，用于根据第一数据表查询到仅作为发送方的数据节点。

优选地，数据发送单元104用于，根据第一数据表和第二数据表，将仅作为发送方的数据节点的数据发送至相应的作为接收方的数据节点。

优选地，过滤单元106用于，从第一数据表中过滤掉同时存储在第二数据表中的仅作为发送方的数据节点，以及在过滤操作完成后清空第二数据表。

数据的分配路径可以抽象为一个有向无环图，通过采用中间表的方式实现该有向图的拓扑排序，进而处理数据分配，可以避免将待分配数据全部加载到内存中，从而减少内存的消耗，并且能够实现数据分配的批量处理和批量释放，提高了数据分配的效率。

优选地，数据发送单元104还用于，根据预设的仅作为发送方的数据节点对应的待分配数据类型和相应的分配方法，将仅作为发送方的数据节点的数据发送至相应的作为接收方的数据节点。

一个数据发送方有多种待分配类型，每一种待分配类型可以对应不同的分配方法，在数据分配前，已经设置每种待分配数据的待分配类型和相应的分配方法，所以“数据发送方”和“待分配数据类型及分配方法”是组合关系，而“数据发送方”和“数据接受方”也是组合关系，这两对组合关系确定了数据分配的具体路径，由于数据发送方和数据接受方是固定的，因此可以根据待分配数据类型和相应的分配方法确定数据分配的路径。

图2示出了根据本发明的实施例的数据分配方法的流程图。

如图2所示，根据本发明的实施例的数据分配方法包括：步骤202，根据预设的多个数据节点之间的数据收发关系，从多个数据节点中选择仅作为发送方的数据节点；步骤204，根据仅作为发送方的数据节点对应的数据收发关系，将仅作为发送方的数据节点的数据发送至相应的作为接收方的数据节点；步骤206，从多个数据节点中过滤掉仅作为发送方的数据节点，并返回步骤202，直至多个数据节点之间不存在数据收发关系。

可以从多个数据节点中选择仅作为发送方的数据节点作为数据发送的第一级起始点，再从这些第一级起始点开始分配数据，由于数据发送方和接收方的关系是预先设定的，所以数据可以按照预设的分配关系从第一级起始点分配至第一级起始点的接收方。

完成第一级分配后，若多个数据节点间还存在数据收发关系，则将第一节起始点过滤掉，并从剩余的多个数据节点中选择仅作为发送方的数据节点作为数据发送的第二级起始点，并重复上述步骤，直至多个数据节点间不存在数据收发关系为止，则完成了多个数据节点之间的数据分配。

通过这种数据分配方式，能够实现自动化的分配，使多级分配无需人工确认分配顺序，极大地提高了数据分配效率，方便用户操作。

优选地，步骤202包括：步骤2022，按多个数据节点之间的数据收发关系，将多个数据节点中作为发送方的数据节点以及相应的作为接收方的数据节点，对应地存储至第一数据表中；步骤2024，根据第一数据表查询到仅作为发送方的数据节点，以及将仅作为发送方的数据节点存储到第二数据表中。

优选地，步骤204包括：根据第一数据表和第二数据表，将仅作为发送方的数据节点的数据发送至相应的作为接收方的数据节点。

优选地，步骤206包括：从第一数据表中过滤掉同时存储在第二数据表中的仅作为发送方的数据节点，并在过滤完成后清空第二数据表。

数据的分配路径可以抽象为一个有向无环图，通过采用中间表的方式实现该有向图的拓扑排序，进而处理数据分配，可以避免将待分配数据全部加载到内存中，从而减少内存的消耗，并且能够实现数据分配的批量处理和批量释放，提高了数据分配的效率。

优选地，步骤204包括：根据预设的仅作为发送方的数据节点对应的待分配数据类型和相应的分配方法，将仅作为发送方的数据节点的数据发送至相应的作为接收方的数据节点。

在该技术方案中，一个数据发送方有多种待分配类型，每一种待分配类型可以对应不同的分配方法，在数据分配前，已经设置每种待分配数据的待分配类型和相应的分配方法，所以“数据发送方”和“待分配数据类型及分配方法”是组合关系，而“数据发送方”和“数据接受方”也是组合关系，这两对组合关系确定了数据分配的具体路径，由于数据发送方和数据接受方是固定的，因此可以根据待分配数据类型和相应的分配方法确定数据分配的路径。

图3示出了根据本发明的实施例的存储模型的示意图。

如图3所示，根据本发明的实施例的存储模型中，数据发送方302和待分配数据类型及分配方法306是组合关系，一个数据发送方有多个待分配数据类型，每一种待分配数据类型又可以选择不同的分配方法，设置非常灵活。数据发送方302和数据接收方304也是组合关系，一个数据发送方可以有多个数据接收方，每个接收方的受益权重由分配方法确定。这两对组合关系组成了一个数据分配路径，实现了多数据类型、多级次、多分配方法的分配数据存储模型。

图4A和图4B示出了根据本发明的实施例的自动分配算法的示意图。

根据本发明的实施例的数据分配方法可以通过如图4A和图4B所示的分配存储模型表示。

如图4A所示，在上文描述的数据分配方法中，分配路径实际上是一个有向无环图，其中，节点A1、B1、B2、B3、C1、C2、C3、D1、D2、D3分别是数据分配过程中的数据接受方和/或数据发送方。

根据本发明的实施例的自动分配算法中，设以某个节点为终点的线段数目为该节点的入度，在分配过程中，首先查找入度为0的节点，即A1，然后将A1加入运算队列，对A1的数据进行分配，完成对A1的处理后，删除节点A1和以A1为终点的线段，如图4B所示，继续查找入度为0的节点，即B1、B2、B3，然后将B1、B2、B3加入运算队列，对B1、B2、B3的数据进行分配，而此时已经没有以B2或B3为起点的线段了，说明B2和B3作为数据接受方，已经完成了数据分配，则删除节点B2和B3，仅对B1的数据进行分配，完成对B1的处理后，删除节点B1和以B1为终点的线段，依此类推，直至剩下D1、D2、D3，即节点之间不存在数据收发关系，则判定完成了数据分配。

图5示出了根据本发明的实施例的中间表的示意图。

实现如图4A所示的有向图拓扑排序的常用方法是使用邻接表，邻接表的结构如下所示，

其中，adjvex表示当前节点序号，next表示其指向的节点。这种拓扑排序方法存在一些不足，一是需要将有向图全部加载到内存中，在分配数据特别多的时候，对内存的消耗比较大；二是在排序时，采用多重循环中逐个节点处理，一次循环中只处理一个节点，处理效率较低。

为避免常用拓扑排序方法中的不足，本技术方案采用了中间表的方式，能够实现批量处理、批量释放的处理过程，有效解决了常用方法中存在的问题。

根据本发明的实施例的中间表如图5所示，算法的详细设计如下：在数据库中，建立两个存储中间数据的表，Temp_Graph用于存储分配路径的有向图，Temp_Queue用于存储每一次循环中入度为0的节点集合。

具体算法如下：

第一步，根据存储模型生成有向图，插入到Temp_Graph表中。生成数据的过程非常简单，可以直接采用如下的sql（StructuredQueryLanguage，结构化查询语言）语句完成

InsertintoTemp_Graph（发送方、数据类型、分配方法、接收方）

Selectt1.发送方，t2.数据类型，t2.分配方法，t3.接收方

From数据发送方t1

Join数据类型及分配方法t2ont2.发送方ID=t1.ID

Join数据接收方t3.发送方=t1.ID

第二步，将Temp_graph中入度为0的节点加入队列Temp_queue中，可以采用如下的sql语句实现

InsertintoTemp_Queue（发送方、数据类型）

Selectt1.发送方，t2.数据类型

FromTemp_grapht1

Wheret1.发送方notin（select接收方fromTemp_graph）

第三步，批量分配Temp_Queue中发送方的数据，用sql语句可以一次将队列中全部节点的数据分配到接收方；

Insertinto计算结果（发送方、数据类型、接收方、分到的数据）

Selectt1.发送方，t1.数据类型，t2.接收方，t3.发生数据*t4.分配率

FromTemp_queuet1

JoinTemp_grapht2ont2.ID=t1.发送方ID

Join数据表t3ont1.数据类型=t3.数据类型

andt1.发送方=t3.成本中心

join分配系数t4ont2.接收方=t4.接收对象

第四步，根据Temp_Queue删除Temp_graph中已分配完的节点和路径，然后删除队列Temp_queue中的数据；

重复上述步骤二、三、四，直至Temp_graph中的节点和路径被全部处理完毕（即多个数据节点之间不存在数据收发关系）。

图6示出了根据本发明的实施例的数据分配方法的具体流程图。

如图6所示，根据本发明的实施例的数据分配方法具体包括：

步骤602，根据预设的数据收发关系构造有向图（即分配路径），并将该有向图存储与数据表Temp_Graph中；

步骤604，定义有向图中，不以任一条先端为终点的节点的输入为0，将Temp_Graph中入度为0的节点加入队列数据表Temp_Queue中；

步骤606，判断Temp_Queue中是否存在待分配的数据；

步骤608，若存在待分配的数据，则将Temp_Queue中待分配的数据进行分配；

步骤610，分配操作完成后，删除Temp_Graph中入度为0的节点和以该节点为终点的分配路径；

步骤612，清空Temp_Queue中的数据；

步骤614，判断Temp_Graph中是否存在分配路径，若存在，则返回步骤608。

以上结合附图详细说明了本发明的技术方案，考虑到相关技术中，数据分配需要人工操作以指定分配的顺序，而且数据分配的效率很低。通过本发明的技术方案，能够提高数据分配的效率和自动化程度，便于人工操作。

在本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种数据分配装置，其特征在于，包括：

节点选择单元，用于根据预设的多个数据节点之间的数据收发关系，从所述多个数据节点中选择仅作为发送方的数据节点；

数据发送单元，用于根据所述仅作为发送方的数据节点对应的数据收发关系，将所述仅作为发送方的数据节点的数据发送至相应的作为接收方的数据节点；

过滤单元，用于从所述多个数据节点中过滤掉所述仅作为发送方的数据节点；

所述节点选择单元包括：存储子单元，用于按所述多个数据节点之间的数据收发关系，将所述多个数据节点中作为发送方的数据节点以及相应的作为接收方的数据节点，对应地存储至第一数据表中，以及，将所述仅作为发送方的数据节点存储到第二数据表中；查询子单元，用于根据所述第一数据表查询到所述仅作为发送方的数据节点。

2.根据权利要求1所述的数据分配装置，其特征在于，所述数据发送单元用于，根据所述第一数据表和所述第二数据表，将所述仅作为发送方的数据节点的数据发送至相应的作为接收方的数据节点。

3.根据权利要求2所述的数据分配装置，其特征在于，所述过滤单元用于，从所述第一数据表中过滤掉同时存储在所述第二数据表中的所述仅作为发送方的数据节点，以及在过滤操作完成后清空所述第二数据表。

4.根据权利要求1至3中任一项所述的数据分配装置，其特征在于，所述数据发送单元还用于，根据预设的所述仅作为发送方的数据节点对应的待分配数据类型和相应的分配方法，将所述仅作为发送方的数据节点的数据发送至相应的作为接收方的数据节点。

5.一种数据分配方法，其特征在于，包括：

步骤202，根据预设的多个数据节点之间的数据收发关系，从所述多个数据节点中选择仅作为发送方的数据节点；

步骤204，根据所述仅作为发送方的数据节点对应的数据收发关系，将所述仅作为发送方的数据节点的数据发送至相应的作为接收方的数据节点；

步骤206，从所述多个数据节点中过滤掉所述仅作为发送方的数据节点，并返回步骤202，直至所述多个数据节点之间不存在数据收发关系；

所述步骤202包括：步骤2022，按所述多个数据节点之间的数据收发关系，将所述多个数据节点中作为发送方的数据节点以及相应的作为接收方的数据节点，对应地存储至第一数据表中；步骤2024，根据所述第一数据表查询到所述仅作为发送方的数据节点，以及将所述仅作为发送方的数据节点存储到第二数据表中。

6.根据权利要求5所述的数据分配方法，其特征在于，所述步骤204包括：根据所述第一数据表和所述第二数据表，将所述仅作为发送方的数据节点的数据发送至相应的作为接收方的数据节点。

7.根据权利要求6所述的数据分配方法，其特征在于，所述步骤206包括：从所述第一数据表中过滤掉同时存储在所述第二数据表中的所述仅作为发送方的数据节点，并在过滤完成后清空所述第二数据表。

8.根据权利要求5至7中任一项所述的数据分配方法，其特征在于，所述步骤204包括：

根据预设的所述仅作为发送方的数据节点对应的待分配数据类型和相应的分配方法，将所述仅作为发送方的数据节点的数据发送至相应的作为接收方的数据节点。