CN103559263A - 对多个图片集合进行合并的方法及系统 - Google Patents

Abstract

本发明涉及对多个图片集合进行合并的方法及系统，以便提高处理效率。该方法包括：获取待合并的多个原始图片集合，为每个原始图片集合设置唯一的原始集合标号；遍历多个原始图片集合中的每个图片数据，获取每个图片数据所对应的最小原始集合标号；对于每个原始图片集合，将该原始图片集合中的所有图片数据所对应的最小原始集合标号中数值最小的标号作为该原始图片集合中的所有图片数据对应的新集合标号；根据新集合标号与图片数据之间的对应关系，得到合并后的新图片集合，判断新图片集合的个数是否等于原始图片集合的个数，若相等，将合并后的新图片集合作为合并结果；否则，将合并后的新图片集合作为待合并的多个原始图片集合重复执行上述步骤。

Description

对多个图片集合进行合并的方法及系统

技术领域

本发明涉及网络通信技术领域，具体涉及一种对多个图片集合进行合并的方法及系统。

背景技术

现实生活中的很多技术问题都可以抽象为图片来描述，为了简化这些问题，往往需要对多个存在交集的图片集合进行合并处理（也叫图片的消重处理）。这类问题也可以称作并查集（Disjoint-set）问题。

下面给出Disjoint-set问题的一种实际应用：为了保证召回率，利用多种求相似图片的算法得到了多组相似图片的集合，并且在这些集合中存在交集。例如，有6张图片A，B，C，D，E，F，通过算法1得到其中的ABCD是近似的，通过算法2得到其中的CDEF是近似的，由于ABCD和CDEF中存在交集CD，因此，实际上6张图片都是相似的。在对上述两组有交集的图片进行合并处理时就需要用到Disjoint-set问题中的一些算法。具体地，Disjoint-set问题主要可以通过Union-Find算法来求解。由于Union-Find算法对于本领域技术人员来说是公知的，因此此处略去对该算法的具体描述。

但是，使用Union-Find算法来求解上述的Disjoint-set问题时存在如下缺陷：由于Union-Find算法是单机算法，只能通过一台计算机进行处理，处理能力受限于这台计算机的CPU速度及内存大小等因素，因此，在大规模数据的情况下处理效率较低。而且，由于Union-Find算法使用树的结构来实现，因此需要全局保存树的根节点，再加上算法中存在着树的合并操作，因此在子树层面进行并行化也非常困难。由此可见，Union-Find算法不仅只能用作单机算法，而且在单机上也无法实现并行化处理。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的对多个图片集合进行合并的方法及系统。

依据本发明的一个方面，提供了一种对多个图片集合进行合并的方法，包括以下步骤：获取待合并的多个原始图片集合，为每个原始图片集合设置唯一的原始集合标号，其中，每个原始图片集合中包含一个或多个图片数据；遍历多个原始图片集合中的每个图片数据，获取每个图片数据所对应的最小原始集合标号，其中，当一个图片数据同时属于多个原始图片集合时，将包含该图片数据的多个原始图片集合中标号最小的原始集合标号作为该图片数据所对应的最小原始集合标号；对于每个原始图片集合，将该原始图片集合中的所有图片数据所对应的最小原始集合标号中数值最小的标号作为该原始图片集合中的所有图片数据对应的新集合标号；根据新集合标号与图片数据之间的对应关系，得到合并后的新图片集合，并判断合并后的新图片集合的个数是否等于原始图片集合的个数，如果相等，则将合并后的新图片集合作为合并结果；如果不相等，则将合并后的新图片集合作为待合并的多个原始图片集合并重复执行上述各个步骤。

依据本发明的另一方面，提供了一种对多个图片集合进行合并的系统，包括：获取单元、合并判断单元和至少一个计算结点单元，其中，获取单元，适于获取待合并的多个原始图片集合，为每个原始图片集合设置唯一的原始集合标号，其中，每个原始图片集合中包含一个或多个图片数据；计算结点单元，适于遍历多个原始图片集合中的每个图片数据，获取每个图片数据所对应的最小原始集合标号，其中，当一个图片数据同时属于多个原始图片集合时，将包含该图片数据的多个原始图片集合中标号最小的原始集合标号作为该图片数据所对应的最小原始集合标号；对于每个原始图片集合，将该原始图片集合中的所有图片数据所对应的最小原始集合标号中数值最小的标号作为该原始图片集合中的所有图片数据对应的新集合标号；合并判断单元，适于根据新集合标号与图片数据之间的对应关系，得到合并后的新图片集合，并判断合并后的新图片集合的个数是否等于原始图片集合的个数，如果相等，则将合并后的新图片集合作为合并结果；如果不相等，则将合并后的新图片集合作为待合并的多个原始图片集合并由上述各个单元重复执行上述操作。

在本发明提供的对多个图片集合进行合并的方法及系统中，首先，为每个原始图片集合设置一个唯一的原始集合标号，然后，得到每个图片数据所对应的最小原始集合标号，接下来，将每个原始图片集合中的所有图片数据所对应的最小原始集合标号中数值最小的标号作为该原始图片集合中的所有图片数据对应的新集合标号，由此得到合并后的新图片集合，通过判断合并后的新图片集合的个数与原始图片集合的个数之间的关系，就可以得到最终的合并结果。由此可见，在这种方式中，每个图片集合之间处于完全相等的地位，相互之间是并列的关系，不存在树形结构中的根节点和子节点的复杂关系。因此，采用这样的计算方式可以通过多台计算机并行化求解Disjoint-Set问题，能够解决大数据情况下由于单机内存不足所导致的无法计算的问题，同时由于多机并行化，即使在数据规模相同时也会大大加快计算过程。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明实施例提供的对多个图片集合进行合并的方法流程图；以及

图2示出了根据本发明实施例提供的对多个图片集合进行合并的系统结构图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种对多个图片集合进行合并的方法及系统，用以解决现有技术中的Union-Find算法只能用作单机算法，处理能力受限于这台计算机的CPU速度及内存大小等因素，导致在大规模数据的情况下处理效率较低的问题。

图1示出了本发明实施例提供的对多个图片集合进行合并的方法流程图。如图1所示，该方法始于步骤S110，在步骤S110中，获取待合并的多个原始图片集合，为每个原始图片集合设置唯一的原始集合标号，其中，每个原始图片集合中包含一个或多个图片数据。

接下来，在步骤S120中，遍历多个原始图片集合中的每个图片数据，获取每个图片数据所对应的最小原始集合标号，其中，当一个图片数据同时属于多个原始图片集合时，将包含该图片数据的多个原始图片集合中标号最小的原始集合标号作为该图片数据所对应的最小原始集合标号。

然后，在步骤S130中，对于每个原始图片集合，将该原始图片集合中的所有图片数据所对应的最小原始集合标号中数值最小的标号作为该原始图片集合中的所有图片数据对应的新集合标号。

最后，在步骤S140中，根据新集合标号与图片数据之间的对应关系，得到合并后的新图片集合，并判断合并后的新图片集合的个数是否等于原始图片集合的个数，如果相等，则将合并后的新图片集合作为合并结果；如果不相等，则将合并后的新图片集合作为上述待合并的多个原始图片集合并重复执行上述各个步骤。

下面结合一个具体实施例来介绍一下上述各个步骤的具体执行过程：

在本实施例中，通过步骤S110获取到的待合并的多个原始图片集合如表1所示：

表1

原始图片集合

图片数据

C1	A,B,C
		C2	B，D，
C3	E，F
		C0	D

由此可见，在本实施例中共获取到了四个待合并的原始图片集合。其中，C1集合中包含A、B、C三个图片数据，C2集合中包含B、D两个图片数据，C3集合中包含E、F两个图片数据，C0集合中包含D这一个图片数据。具体处理时，可以在计算机中将每个原始图片集合存储为一个类，并将图片集合中的各个图片数据存储为类中的各个元素，当然，本领域技术人员也可以通过其他方式来存储上述的图片集合和图片数据，本发明对此不作限定。

在步骤S110中，需要为每个原始图片集合设置唯一的原始集合标号，在本实施例中，为集合C1设置的原始集合标号为1，为集合C2设置的原始集合标号为2，为集合C3设置的原始集合标号为3，为集合C0设置的原始集合标号为0。

接下来，在步骤S120中，遍历上述的四个原始图片集合中的每个图片数据，获取每个图片数据所对应的最小原始集合标号。首先，遍历C1中的三个图片数据：对于数据A来说，由于数据A仅属于集合C1，因此，数据A所对应的最小原始集合标号就是集合C1的标号（为1）；对于数据B来说，由于数据B同时属于集合C1和C2，因此，数据B所对应的最小原始集合标号为C1和C2中标号最小的一个（为1）；同理，对于数据C来说，所对应的最小原始集合标号为1。依照同样的方法获取集合C2、C3和C0中的各个图片数据所对应的最小原始集合标号，得到如表2所示的每个图片数据的最小原始集合标号：

表2

然后，在步骤S130中，对于每个原始图片集合，将该原始图片集合中的所有图片数据所对应的最小原始集合标号中数值最小的标号作为该原始图片集合中的所有图片数据对应的新集合标号。例如，对于原始图片集合C1来说，其中包含三个图片数据A、B、C，这三个图片数据所对应的最小原始集合标号均为1，因此，原始图片集合C1中的这三个图片数据A、B、C所对应的新集合标号也为1。对于原始图片集合C2来说，其中包含两个图片数据B、D，在这两个图片数据中，B所对应的最小原始集合标号为1，D所对应的最小原始集合标号为0，因此，原始图片集合C2中的这两个图片数据B、D所对应的新集合标号为0。对于原始图片集合C3来说，其中包含两个图片数据E、F，这两个图片数据所对应的最小原始集合标号均为3，因此，原始图片集合C3中的这两个图片数据E、F所对应的新集合标号也为3。对于原始图片集合C0来说，其中包含一个图片数据D，D所对应的最小原始集合标号为0，因此，原始图片集合C0中的这一个图片数据D所对应的新集合标号为0。表3示出了上述原始图片集合中的各个图片数据所对应的新集合标号：

表3

最后，在步骤S140中，根据新集合标号与图片数据之间的对应关系，得到合并后的新图片集合。例如，新集合标号1对应着A、B、C这一组数据，因此，合并后的新图片集合C1’中包含A、B、C这三个数据。新集合标号0对应着B、D和D这两组数据，因此，合并后的新图片集合C0’中包含B、D这两个数据。新集合标号3对应着E、F这一组数据，因此，合并后的新图片集合C3’中包含E、F这两个数据。表4示出了合并后的新图片集合中的数据：

表4

新图片集合	图片数据
		C1’	A,B,C
C3’	E，F
		C0’	B,D

然后，在步骤S140中还要判断合并后的新图片集合的个数是否等于原始图片集合的个数，如果相等，则将合并后的新图片集合作为合并结果；如果不相等，则将合并后的新图片集合作为所述待合并的多个原始图片集合并重复执行上述各个步骤。具体到本实施例中的这一环节，由于合并后的新图片集合个数为3，不等于原始图片集合的个数4，因此，需要将合并后的新图片集合C1’、C3’和C0’作为步骤S110中提到的待合并的多个原始图片集合并重复执行上述的步骤S110至步骤S140。

具体地，在重复执行步骤S110（即第二次执行步骤S110）时，需要为每个原始图片集合（此处，将第一次执行步骤S140时得到的新图片集合C1’、C3’和C0’作为第二次执行步骤S110时的原始图片集合）设置唯一的原始集合标号，在本实施例中，为集合C1’设置的原始集合标号为1，为集合C3’设置的原始集合标号为3，为集合C0’设置的原始集合标号为0。

接下来，在第二次执行步骤S120时，得到如表5所示的每个图片数据的最小原始集合标号：

表5

图片数据	最小原始集合标号
		A	1
B	0
		C	1
D	0
		E	3

F

3

然后，在第二次执行步骤S130时，得到表6所示的原始图片集合中的各个图片数据所对应的新集合标号：

表6

最后，在第二次执行步骤S140时，得到表7所示的合并后的新图片集合中的数据：

表7

新图片集合	图片数据
		C0”	A,B,C,D
C3”	E，F

由于合并后的新图片集合个数为2，不等于原始图片集合的个数3，因此，需要将合并后的新图片集合C0”、C3”作为步骤S110中提到的待合并的多个原始图片集合并再次重复执行上述的步骤S110至步骤S140。

具体地，在第三次执行步骤S110时，需要为每个原始图片集合（此处，将第二次执行步骤S140时得到的新图片集合C0”、C3”作为第三次执行步骤S110时的原始图片集合）设置唯一的原始集合标号，在本实施例中，为集合C0”设置的原始集合标号为0，为集合C3”设置的原始集合标号为3。

接下来，在第三次执行步骤S120时，得到如表8所示的每个图片数据的最小原始集合标号：

表8

图片数据	最小原始集合标号
		A	0
B	0

C	0
		D	0
E	3
		F	3

然后，在第三次执行步骤S130时，得到表9所示的原始图片集合中的各个图片数据所对应的新集合标号：

表9

最后，在第三次执行步骤S140时，得到表10所示的合并后的新图片集合中的数据：

表10

新图片集合	图片数据
		C0”’	A,B,C,D
C3”’	E，F

由于合并后的新图片集合个数为2，等于原始图片集合（第三次执行步骤S110时的原始图片集合）的个数2，因此，直接将合并后的新图片集合作为合并结果。

由此可见，在本实施例中，通过三次循环执行步骤S110至步骤S140即可得到最终的合并结果。具体地，循环执行的次数视具体情况而定。

在本发明提供的对多个图片集合进行合并的方法中，由于每个图片集合之间处于完全相等的地位，相互之间是并列的关系，不存在树形结构中的根节点和子节点的复杂关系。因此，采用这样的计算方式可以通过多台计算机并行化求解Disjoint-Set问题，能够解决大数据情况下由于单机内存不足所导致的无法计算的问题，同时由于多机并行化，即使在数据规模相同时也会大大加快计算过程。

为了能够通过多台计算机或其他计算设备（在下文中称作“计算结点”）并行完成上述步骤S110至步骤S140中的处理过程，可以将本发明中的各个图片集合及其中包含的各个图片数据分别按照一定的规则分配到不同的计算结点上，由不同的计算结点同时对分配给自身的图片集合及其中包含的各个图片数据执行上述步骤中的运算。

可选地，为了实现上述并行处理的目的，在步骤S110之后，步骤S120之前，进一步包括步骤：按照预设的第一规则，将待合并的多个原始图片集合分配给多个预设数量的计算结点，由各个计算结点基于分配到该计算结点的原始图片集合并行执行后续步骤。其中，第一规则包括：对于每个原始图片集合，用该原始图片集合的原始集合标号除以计算结点的总个数，得到计算结果的余数；将该原始图片集合分配给结点标号等于该余数的计算结点。

可选地，本发明实施例提供的方法还可以进一步包括步骤：根据预设的第二规则，为待合并的多个原始图片集合中的每个图片数据指定该图片数据所对应的计算结点；则在遍历多个原始图片集合中的每个图片数据，获取每个图片数据所对应的最小原始集合标号的步骤中，每个计算结点基于分配给该计算结点的原始图片集合，获得分配给该计算结点的原始图片集合中的各个图片数据所对应的最小原始集合标号的中间结果，并将获得的每一图片数据所对应的最小原始集合标号的中间结果发送给该图片数据所对应的计算结点；每个计算结点基于其他计算结点发来的图片数据所对应的最小原始集合标号的中间结果，确定该计算结点所对应的图片数据的最小原始集合标号。其中，上述的第二规则包括：为每个图片数据设置唯一的图片数据标号；对于每个图片数据，用该图片数据的图片数据标号除以计算结点的总个数，得到计算结果的余数；将结点标号等于该余数的计算结点指定为该图片数据所对应的计算结点。

其中，基于其他计算结点发来的图片数据所对应的最小原始集合标号的中间结果，确定该计算结点所对应的图片数据的最小原始集合标号的步骤具体包括：当其他计算结点发来的一个图片数据所对应的最小原始集合标号的中间结果为多个时，将多个中间结果中的最小值作为该图片数据所对应的最小原始集合标号。

另外，为了使其他计算结点能够及时获取到所需的全部信息，将该原始图片集合中的所有图片数据所对应的最小原始集合标号中数值最小的标号作为该原始图片集合中的所有图片数据对应的新集合标号的步骤之前还可以进一步包括步骤：每个计算结点将该计算结点所对应的各个图片数据的最小原始集合标号广播到其他计算结点。

为了便于理解上述并行处理的具体实现方式，下面结合上述例子给出上述并行处理的具体实现细节：

首先，在步骤S110中，获取待合并的多个原始图片集合，为每个原始图片集合设置唯一的原始集合标号的步骤可以由多个计算结点中的任意一个计算结点来执行，或者，也可以由一个与各个计算结点分别相连的中央处理结点来执行。在本实施例中，假设步骤S110由中央处理结点执行，并且，该中央处理结点获取到了如表1所示的四个原始图片集合，每个原始图片集合的原始集合标号参见上述实施例的描述，此处不再赘述。

然后，按照预设的第一规则，将上述步骤S110中获取到的待合并的四个原始图片集合分配给多个预设数量的计算结点，由各个计算结点基于分配到该计算结点的原始图片集合并行执行后续步骤。

其中，预设的第一规则主要用于实现多个原始图片集合的分配。在本实施例中，该第一规则包括：对于每个原始图片集合，用该原始图片集合的原始集合标号除以计算结点的总个数，得到计算结果的余数；将该原始图片集合分配给结点标号等于该余数的计算结点。该第一规则可以用公式描述如下：计算结点的结点标号＝原始图片集合的原始集合标号%计算结点的结点个数

具体到本实施例中，假设计算结点的结点个数为2。集合C1的原始集合标号（1）除以结点个数（2）之后，余数为1，因此，将集合C1分配给标号为1的计算结点（以下简称为结点1）。集合C2的原始集合标号（2）除以结点个数（2）之后，余数为0，因此，将集合C2分配给标号为0的计算结点（以下简称为结点0）。集合C3的原始集合标号（3）除以结点个数（2）之后，余数为1，因此，将集合C3分配给结点1。集合C0的原始集合标号（0）除以结点个数（2）之后，余数为0，因此，将集合C0分配给结点0。

由此可见，在本实施例中，具有两个计算结点，其中，结点0上分配到的原始图片集合为C2和C0，结点1上分配到的原始图片集合为C1和C3。

接下来，在步骤S120中，结点0遍历原始图片集合C2和C0中的每个图片数据，获取每个图片数据所对应的最小原始集合标号。结点1遍历原始图片集合C1和C3中的每个图片数据，获取每个图片数据所对应的最小原始集合标号。由此可见，步骤S120是由两个计算结点并行完成的，每个计算结点基于分配到自身的原始图片集合的数据进行计算。但是，由于每个计算结点上只有一部分原始图片集合，因此，为了准确地获得每个图片数据的最小原始集合标号，每一计算结点还需要拿到其他计算结点上的计算结果。

为此，在步骤S120具体执行之前，进一步根据预设的第二规则，为这些原始图片集合中的每个图片数据指定该图片数据所对应的计算结点，则在步骤S120中，每个计算结点基于分配给该计算结点的原始图片集合，获得分配给该计算结点的原始图片集合中的各个图片数据所对应的最小原始集合标号的中间结果，并将获得的每一图片数据所对应的最小原始集合标号的中间结果发送给该图片数据所对应的计算结点；每个计算结点基于其他计算结点发来的图片数据所对应的最小原始集合标号的中间结果，确定该计算结点所对应的图片数据的最小原始集合标号。具体地，在本实施例中，该第二规则包括：为每个图片数据设置唯一的图片数据标号；对于每个图片数据，用该图片数据的图片数据标号除以计算结点的总个数，得到计算结果的余数；将结点标号等于该余数的计算结点指定为该图片数据所对应的计算结点。

该第二规则可以用公式描述如下：

计算结点的结点标号＝图片数据的图片数据标号%计算结点的结点个数

本实施例中共有六个图片数据，假设A的图片数据标号为1，B的图片数据标号为2，C的图片数据标号为3，D的图片数据标号为4，E的图片数据标号为5，F的图片数据标号为6。通过上述公式可以确定：为图片数据A、C、E所指定的计算结点是结点1，为图片数据B、D、F所指定的计算结点是结点0。

下面具体介绍一下步骤S120的执行过程：

首先，结点1对集合C1进行处理得到该集合中的数据A、B、C所对应最小原始集合标号的中间结果如下：A的最小原始集合标号的中间结果为1，B的最小原始集合标号的中间结果为1（这里，由于结点1上只有C1和C3两个集合，因此得到的B的最小原始集合标号的中间结果为1，此结果并非最终结果），C的最小原始集合标号的中间结果也为1。结点1对集合C3进行处理得到该集合中的数据E、F所对应最小原始集合标号的中间结果如下：E的最小原始集合标号的中间结果为3，F的最小原始集合标号的中间结果为3。

与此同时，结点0对集合C2进行处理得到该集合中的数据B、D所对应的最小原始集合标号的中间结果如下：B的最小原始集合标号的中间结果为2（这里，由于结点0上只有C2和C0两个集合，因此得到的B的最小原始集合标号的中间结果为2，此结果并非最终结果），D的最小原始集合标号的中间结果为0。结点0对集合C0进行处理得到该集合中的数据D所对应的最小原始集合标号的中间结果为0。

由此可见，在上述过程中，结点1得到了关于A、B、C、E、F这五个图片数据的最小原始集合标号的中间结果，由于根据上述第二规则确定的由结点1负责的图片数据为A、C、E，而B和F这两个图片数据所对应的计算结点的标号为0，因此，结点1将B和F这两个图片数据的最小原始集合标号的中间结果发送给结点0。与此同时，基于同样的道理，在结点0所得到的关于B和D的这两个图片数据中，由于这两个图片数据均由该计算结点负责，因此，无需将这两个图片数据的中间结果发送给其他结点。

然后，各个计算结点对指定由该结点负责的每个图片数据的所有中间结果进行合并处理（即：进行取最小值的操作），从而得到每个图片数据的最终结果。例如，结点1负责如下三个图片数据：对于A数据，该数据的中间结果只有一个，因此，A的最小原始集合标号就是该中间结果1；对于C数据，该数据的中间结果也只有一个，因此，C的最小原始集合标号也是该中间结果1；对于E数据，该数据的中间结果也只有一个，因此，E的最小原始集合标号就是该中间结果3。结点0负责如下三个图片数据：对于B数据，该数据的中间结果有两个，即结点0自身得到的2以及结点1发来的1，对2和1执行取最小值的操作可知，B的最小原始集合标号是1；对于D数据，该数据的中间结果只有一个，因此，D的最小原始集合标号为0；对于F数据，该数据的中间结果也只有一个（结点1发来的一个中间结果），因此，F的最小原始集合标号是3。

由此可见，在步骤S120的上述处理过程中，由两个计算结点并行完成了处理过程，并得到了与表2相同的计算结果。

接下来，在步骤S130中，结点0负责处理集合C2和C0，结点1负责处理集合C1和C3。例如，在结点1处理集合C1的过程中，将C1这一集合中的所有图片数据（A、B、C）所对应的最小原始集合标号中数值最小的标号（1）作为集合C1中所有图片数据所对应的新集合标号。在这一处理过程中，结点1要用到A、B、C这三个图片数据的最小原始集合标号，但是根据第二规则以及步骤S120可知，其中的数据B的最小原始集合标号保存在结点0上，因此，结点1需要预先获取到数据B的最小原始集合标号。为此，可以通过多种方式实现：例如，可以由结点1将需要获取最小原始集合标号的各个数据发送给这些数据所对应的结点（或者直接广播到所有结点），以便由这些结点返回需要的结果；或者，也可以直接由每个计算结点将该计算结点所对应的各个图片数据的最小原始集合标号广播到其他各个计算结点，以便使所有结点都能预先获取到全部数据的最小原始集合标号。总之，本领域技术人员可以通过各种方式来实现各个结点之间相互通信的目的，本发明对此不作限定。

由此，结点1得到C1的新集合标号为1，C3的新集合标号为3；结点0得到C0和C2的新集合标号均为0。根据上述第一规则可知，新集合标号为1和3的两个新集合也均由结点1处理，新集合标号为0的新集合由结点0处理。因此，结点1和结点0对自身结点上的新集合标号对应的图片数据进行合并，得到三个新的图片集合（参见表4）。

最后，在步骤S140中，由每个结点统计该结点上得到的新集合的个数，并由中央处理结点（或其他指定结点）对各个结点上的新集合进行汇总，得到最终的新图片集合，然后执行判断集合个数等后续操作。

综上所述，在上述步骤的执行过程中，通过多个计算结点并行完成了处理过程。虽然在本实施例中为了便于描述仅以两个计算结点为例进行了说明，但是实际运用中可能会同时用到数百甚至数千个计算结点，因而能够显著提高运算效率。

另外，在具体执行上述并行处理的过程中，可以利用多点接口（Multi PointInterface，MPI）来实现并行处理操作。例如，在步骤S120中取最小标号时，以及在步骤S130中取最小值时都可以通过MPI提供的MPI_Reduce接口来实现。另外，在上述的各个步骤中，由某个结点对各个结点发来的中间数据进行合并处理时，也可以调用MPI的规约接口来实现。利用MPI提供的并行环境库，可以更好地实现本发明中并行处理的过程。

图2示出了本发明实施例提供的一种对多个图片集合进行合并的系统。如图2所示，该系统包括：获取单元21、合并判断单元23和至少一个计算结点单元22。

其中，获取单元21获取待合并的多个原始图片集合，为每个原始图片集合设置唯一的原始集合标号，其中，每个原始图片集合中包含一个或多个图片数据。

计算结点单元22遍历多个原始图片集合中的每个图片数据，获取每个图片数据所对应的最小原始集合标号，其中，当一个图片数据同时属于多个原始图片集合时，将包含该图片数据的多个原始图片集合中标号最小的原始集合标号作为该图片数据所对应的最小原始集合标号；对于每个原始图片集合，将该原始图片集合中的所有图片数据所对应的最小原始集合标号中数值最小的标号作为该原始图片集合中的所有图片数据对应的新集合标号。

合并判断单元23根据新集合标号与图片数据之间的对应关系，得到合并后的新图片集合，并判断合并后的新图片集合的个数是否等于原始图片集合的个数，如果相等，则将合并后的新图片集合作为合并结果；如果不相等，则将合并后的新图片集合作为上述待合并的多个原始图片集合并由上述各个单元重复执行上述操作。

可选地，计算结点单元22的数量为多个，则该系统进一步包括：第一分配单元，适于按照预设的第一规则，将获取单元获取的待合并的多个原始图片集合分配给该多个计算结点单元，由各个计算结点单元基于分配到该计算结点单元的原始图片集合执行并行化处理。其中，第一规则包括：对于每个原始图片集合，用该原始图片集合的原始集合标号除以计算结点的总个数，得到计算结果的余数；将该原始图片集合分配给结点标号等于该余数的计算结点。

可选地，该系统进一步包括：第二分配单元，适于根据预设的第二规则，为待合并的多个原始图片集合中的每个图片数据指定该图片数据所对应的计算结点单元；则每个计算结点单元基于分配给该计算结点单元的原始图片集合，获得分配给该计算结点单元的原始图片集合中的各个图片数据所对应的最小原始集合标号的中间结果，并将获得的每一图片数据所对应的最小原始集合标号的中间结果发送给该图片数据所对应的计算结点单元；每个计算结点单元基于其他计算结点单元发来的图片数据所对应的最小原始集合标号的中间结果，确定该计算结点单元所对应的图片数据的最小原始集合标号。其中，第二规则包括：为每个图片数据设置唯一的图片数据标号；对于每个图片数据，用该图片数据的图片数据标号除以计算结点的总个数，得到计算结果的余数；将结点标号等于该余数的计算结点指定为该图片数据所对应的计算结点。

其中，计算结点单元在其他计算结点单元发来的一个图片数据所对应的最小原始集合标号的中间结果为多个时，将多个中间结果中的最小值作为该图片数据所对应的最小原始集合标号。

上述各个单元的具体工作过程可参照方法实施例中相应步骤的描述，此处不再赘述。

在本发明提供的对多个图片集合进行合并的方法及系统中，首先，为每个原始图片集合设置一个唯一的原始集合标号，然后，得到每个图片数据所对应的最小原始集合标号，接下来，将每个原始图片集合中的所有图片数据所对应的最小原始集合标号中数值最小的标号作为该原始图片集合中的所有图片数据对应的新集合标号，由此得到合并后的新图片集合，通过判断合并后的新图片集合的个数与原始图片集合的个数之间的关系，就可以得到最终的合并结果。由此可见，在这种方式中，每个图片集合之间处于完全相等的地位，相互之间是并列的关系，不存在树形结构中的根节点和子节点的复杂关系。因此，采用这样的计算方式可以通过多台计算机并行化求解Disjoint-Set问题，能够解决大数据情况下由于单机内存不足所导致的无法计算的问题，同时由于多机并行化，即使在数据规模相同时也会大大加快计算过程。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明还公开了A1、一种对多个图片集合进行合并的方法，包括以下步骤：

获取待合并的多个原始图片集合，为每个原始图片集合设置唯一的原始集合标号，其中，每个原始图片集合中包含一个或多个图片数据；

遍历多个原始图片集合中的每个图片数据，获取每个图片数据所对应的最小原始集合标号，其中，当一个图片数据同时属于多个原始图片集合时，将包含该图片数据的多个原始图片集合中标号最小的原始集合标号作为该图片数据所对应的最小原始集合标号；

对于每个原始图片集合，将该原始图片集合中的所有图片数据所对应的最小原始集合标号中数值最小的标号作为该原始图片集合中的所有图片数据对应的新集合标号；

根据新集合标号与图片数据之间的对应关系，得到合并后的新图片集合，并判断合并后的新图片集合的个数是否等于原始图片集合的个数，如果相等，则将合并后的新图片集合作为合并结果；如果不相等，则将合并后的新图片集合作为所述待合并的多个原始图片集合并重复执行上述各个步骤。

A2、如A1所述的方法，其中，在所述遍历多个原始图片集合中的每个图片数据的步骤之前，进一步包括：按照预设的第一规则，将所述待合并的多个原始图片集合分配给多个预设数量的计算结点，由各个计算结点基于分配到该计算结点的原始图片集合并行执行后续步骤。

A3、如A2所述的方法，其中，所述第一规则包括：

对于每个原始图片集合，用该原始图片集合的原始集合标号除以计算结点的总个数，得到计算结果的余数；

将该原始图片集合分配给结点标号等于所述余数的计算结点。

A4、如A2或A3所述的方法，其中，进一步包括步骤：根据预设的第二规则，为所述待合并的多个原始图片集合中的每个图片数据指定该图片数据所对应的计算结点；

则在所述遍历多个原始图片集合中的每个图片数据，获取每个图片数据所对应的最小原始集合标号的步骤中，

每个计算结点基于分配给该计算结点的原始图片集合，获得分配给该计算结点的原始图片集合中的各个图片数据所对应的最小原始集合标号的中间结果，并将获得的每一图片数据所对应的最小原始集合标号的中间结果发送给该图片数据所对应的计算结点；

每个计算结点基于其他计算结点发来的图片数据所对应的最小原始集合标号的中间结果，确定该计算结点所对应的图片数据的最小原始集合标号。

A5、如A4所述的方法，其中，基于其他计算结点发来的图片数据所对应的最小原始集合标号的中间结果，确定该计算结点所对应的图片数据的最小原始集合标号的步骤具体包括：

当其他计算结点发来的一个图片数据所对应的最小原始集合标号的中间结果为多个时，将多个中间结果中的最小值作为该图片数据所对应的最小原始集合标号。

A6、如A4或A5所述的方法，其中，所述第二规则包括：

为每个图片数据设置唯一的图片数据标号；

对于每个图片数据，用该图片数据的图片数据标号除以计算结点的总个数，得到计算结果的余数；

将结点标号等于所述余数的计算结点指定为该图片数据所对应的计算结点。

A7、如A4-6任一所述的方法，其中，所述将该原始图片集合中的所有图片数据所对应的最小原始集合标号中数值最小的标号作为该原始图片集合中的所有图片数据对应的新集合标号的步骤之前进一步包括：

每个计算结点将该计算结点所对应的各个图片数据的最小原始集合标号广播到其他计算结点。

A8、如A4-7任一所述的方法，其中，通过MPI提供的MPI_Reduce接口来实现取最小标号或最小值的操作。

本发明还公开了B9、一种对多个图片集合进行合并的系统，包括：获取单元、合并判断单元和至少一个计算结点单元，其中，

获取单元，适于获取待合并的多个原始图片集合，为每个原始图片集合设置唯一的原始集合标号，其中，每个原始图片集合中包含一个或多个图片数据；

计算结点单元，适于遍历多个原始图片集合中的每个图片数据，获取每个图片数据所对应的最小原始集合标号，其中，当一个图片数据同时属于多个原始图片集合时，将包含该图片数据的多个原始图片集合中标号最小的原始集合标号作为该图片数据所对应的最小原始集合标号；对于每个原始图片集合，将该原始图片集合中的所有图片数据所对应的最小原始集合标号中数值最小的标号作为该原始图片集合中的所有图片数据对应的新集合标号；

合并判断单元，适于根据新集合标号与图片数据之间的对应关系，得到合并后的新图片集合，并判断合并后的新图片集合的个数是否等于原始图片集合的个数，如果相等，则将合并后的新图片集合作为合并结果；如果不相等，则将合并后的新图片集合作为所述待合并的多个原始图片集合并由上述各个单元重复执行上述操作。

B10、如B9所述的系统，其中，所述计算结点单元的数量为多个，则所述系统进一步包括：第一分配单元，适于按照预设的第一规则，将获取单元获取的所述待合并的多个原始图片集合分配给多个计算结点单元，由各个计算结点单元基于分配到该计算结点单元的原始图片集合执行并行化处理。

B11、如B10所述的系统，其中，所述第一规则包括：

对于每个原始图片集合，用该原始图片集合的原始集合标号除以计算结点的总个数，得到计算结果的余数；

将该原始图片集合分配给结点标号等于所述余数的计算结点。

B12、如B10或B11所述的系统，其中，进一步包括：第二分配单元，适于根据预设的第二规则，为所述待合并的多个原始图片集合中的每个图片数据指定该图片数据所对应的计算结点单元；

则所述每个计算结点单元基于分配给该计算结点单元的原始图片集合，获得分配给该计算结点单元的原始图片集合中的各个图片数据所对应的最小原始集合标号的中间结果，并将获得的每一图片数据所对应的最小原始集合标号的中间结果发送给该图片数据所对应的计算结点单元；每个计算结点单元基于其他计算结点单元发来的图片数据所对应的最小原始集合标号的中间结果，确定该计算结点单元所对应的图片数据的最小原始集合标号。

B13、如B12所述的系统，其中，所述计算结点单元在其他计算结点单元发来的一个图片数据所对应的最小原始集合标号的中间结果为多个时，将多个中间结果中的最小值作为该图片数据所对应的最小原始集合标号。

B14、如B12或B13所述的系统，其中，所述第二规则包括：

为每个图片数据设置唯一的图片数据标号；

对于每个图片数据，用该图片数据的图片数据标号除以计算结点的总个数，得到计算结果的余数；

将结点标号等于所述余数的计算结点指定为该图片数据所对应的计算结点。

Claims (10)

1.一种对多个图片集合进行合并的方法，包括以下步骤：

获取待合并的多个原始图片集合，为每个原始图片集合设置唯一的原始集合标号，其中，每个原始图片集合中包含一个或多个图片数据；

遍历多个原始图片集合中的每个图片数据，获取每个图片数据所对应的最小原始集合标号，其中，当一个图片数据同时属于多个原始图片集合时，将包含该图片数据的多个原始图片集合中标号最小的原始集合标号作为该图片数据所对应的最小原始集合标号；

对于每个原始图片集合，将该原始图片集合中的所有图片数据所对应的最小原始集合标号中数值最小的标号作为该原始图片集合中的所有图片数据对应的新集合标号；

根据新集合标号与图片数据之间的对应关系，得到合并后的新图片集合，并判断合并后的新图片集合的个数是否等于原始图片集合的个数，如果相等，则将合并后的新图片集合作为合并结果；如果不相等，则将合并后的新图片集合作为所述待合并的多个原始图片集合并重复执行上述各个步骤。

2.如权利要求1所述的方法，其中，在所述遍历多个原始图片集合中的每个图片数据的步骤之前，进一步包括：按照预设的第一规则，将所述待合并的多个原始图片集合分配给多个预设数量的计算结点，由各个计算结点基于分配到该计算结点的原始图片集合并行执行后续步骤。

3.如权利要求2所述的方法，其中，所述第一规则包括：

对于每个原始图片集合，用该原始图片集合的原始集合标号除以计算结点的总个数，得到计算结果的余数；

将该原始图片集合分配给结点标号等于所述余数的计算结点。

4.如权利要求2或3所述的方法，其中，进一步包括步骤：根据预设的第二规则，为所述待合并的多个原始图片集合中的每个图片数据指定该图片数据所对应的计算结点；

则在所述遍历多个原始图片集合中的每个图片数据，获取每个图片数据所对应的最小原始集合标号的步骤中，

每个计算结点基于分配给该计算结点的原始图片集合，获得分配给该计算结点的原始图片集合中的各个图片数据所对应的最小原始集合标号的中间结果，并将获得的每一图片数据所对应的最小原始集合标号的中间结果发送给该图片数据所对应的计算结点；

每个计算结点基于其他计算结点发来的图片数据所对应的最小原始集合标号的中间结果，确定该计算结点所对应的图片数据的最小原始集合标号。

5.如权利要求4所述的方法，其中，基于其他计算结点发来的图片数据所对应的最小原始集合标号的中间结果，确定该计算结点所对应的图片数据的最小原始集合标号的步骤具体包括：

当其他计算结点发来的一个图片数据所对应的最小原始集合标号的中间结果为多个时，将多个中间结果中的最小值作为该图片数据所对应的最小原始集合标号。

6.如权利要求4或5所述的方法，其中，所述第二规则包括：

为每个图片数据设置唯一的图片数据标号；

对于每个图片数据，用该图片数据的图片数据标号除以计算结点的总个数，得到计算结果的余数；

将结点标号等于所述余数的计算结点指定为该图片数据所对应的计算结点。

7.如权利要求4-6任一所述的方法，其中，所述将该原始图片集合中的所有图片数据所对应的最小原始集合标号中数值最小的标号作为该原始图片集合中的所有图片数据对应的新集合标号的步骤之前进一步包括：

每个计算结点将该计算结点所对应的各个图片数据的最小原始集合标号广播到其他计算结点。

8.如权利要求4-7任一所述的方法，其中，通过MPI提供的MPI_Reduce接口来实现取最小标号或最小值的操作。

9.一种对多个图片集合进行合并的系统，包括：获取单元、合并判断单元和至少一个计算结点单元，其中，

获取单元，适于获取待合并的多个原始图片集合，为每个原始图片集合设置唯一的原始集合标号，其中，每个原始图片集合中包含一个或多个图片数据；

计算结点单元，适于遍历多个原始图片集合中的每个图片数据，获取每个图片数据所对应的最小原始集合标号，其中，当一个图片数据同时属于多个原始图片集合时，将包含该图片数据的多个原始图片集合中标号最小的原始集合标号作为该图片数据所对应的最小原始集合标号；对于每个原始图片集合，将该原始图片集合中的所有图片数据所对应的最小原始集合标号中数值最小的标号作为该原始图片集合中的所有图片数据对应的新集合标号；

合并判断单元，适于根据新集合标号与图片数据之间的对应关系，得到合并后的新图片集合，并判断合并后的新图片集合的个数是否等于原始图片集合的个数，如果相等，则将合并后的新图片集合作为合并结果；如果不相等，则将合并后的新图片集合作为所述待合并的多个原始图片集合并由上述各个单元重复执行上述操作。

10.如权利要求9所述的系统，其中，所述计算结点单元的数量为多个，则所述系统进一步包括：第一分配单元，适于按照预设的第一规则，将获取单元获取的所述待合并的多个原始图片集合分配给多个计算结点单元，由各个计算结点单元基于分配到该计算结点单元的原始图片集合执行并行化处理。

Images