CN101414952A - 一种基于超立方体的可扩展并行计算互连网络拓扑结构 - Google Patents

Abstract

一种基于超立方体的可扩展并行计算互连网络拓扑结构，由4m×2^d个节点和2^d+1×m×(d+3)条链路组成，2^d个节点连接成d维超立方体网络拓扑结构，共得到4m个d维超立方体，4m个d维超立方体相同的节点编号相同的节点连接成DR(2m)互连网络拓扑结构，本发明结合了超立方体拓扑的短直径、高连通性、对称性、路由简单和一种新的双环拓扑结构的可扩展性和常数节点度的优点，使得网络规模增大时，网络节点度可以保持常数。网络节点可以采用格雷编码和约翰逊编码的混合编码方法，网络的任意相邻节点的编码有且仅有一位不同，使得路由算法设计简单。本发明是一种适合大规模并行计算的拓扑结构。

Description

一种基于超立方体的可扩展并行计算互连网络拓扑结构

技术领域

本发明属于并行计算技术领域，特别是一种基于超立方体的可扩展并行计算互连网络拓扑结构。

背景技术

随着硬件技术的不断发展，特别是超大规模集成电路工艺的发展，使得包含成千上万处理器的大规模多处理器系统成为可能。例如CM(ConnectionMachine)多处理器包含多达2¹⁶个处理器。随着多处理器系统规模不断扩大，网络拓扑结构对如此大规模的多处理器系统的性能具有重要的影响，为了提高并行计算的通信效率，人们一直在研究结构简单、节点度小、网络直径小以及良好可扩展的互连网络拓扑结构。由于超立方体的拓扑结构具有正规性、对称性、强容错性、短直径、可嵌入性等特殊性质，是一种最为重要和最具吸引力的并行计算机互连网络拓扑结构。

在超立方体网络拓扑中节点的编码极大的方便了路由算法的实现，然而，随着网络规模的增大，节点度也随之增加，使得设计和制造变得更加困难，并且超立方体不具有可扩展性，因此，在实际应用中超立方体互连网络受到了限制。立方环(Cube Connected-Cycles)是一个节点度为3的拓扑结构，平衡了网络直径和节点度，但是该网络限制节点度为3降低了它的性能，而且路由算法的实现较超立方体的复杂。许多基于超立方体的互连网络，都和超立方体相似不具有可扩展性并且它们的路由算法实现较超立方体的复杂，使得它们的应用受到了限制。两个基于超立方体的可扩展互连网络被提出，但是它们的路由算法实现较超立方体的复杂。

发明内容

本发明的目的是：针对现有超立方体拓扑结构不可扩展性问题以及一些基于超立方体的路由算法复杂问题，提出一种基于超立方体的可扩展并行计算互连网络拓扑结构。该网络节点编码可以采用格雷编码和约翰逊编码，使得基于超立方体拓扑结构的各种算法可以不做任何修改直接应用到该互连网络拓扑结构中。

本发明的技术解决方案是：一种基于超立方体的可扩展并行计算互连网络拓扑结构，称之为双环超立方体(Double-Ring Hypercube，DRH(m，d))拓扑结构，该拓扑结构DRH(m，d)由4m×2^d个节点和2^d+1×m×(d+3)条链路组成，对于4m×2^d个节点和2^d+1×m×(d+3)条链路的DRH(m，d)互连网络拓扑由下述部分构成：1)首先，2^d个节点连接成d维超立方体网络拓扑结构，共得到4m个d维超立方体，对每个d维超立方体的节点按照超立方体的定义进行编号；2)将4m个d维超立方体中节点编号相同的节点连接成双环(Double-Ring，DR(2m))互连网络拓扑结构，共得到d个DR(2m)，即可得到DRH(m，d)互连网络拓扑结构，DRH(m，d)拓扑结构是对称正规互连网络，任意节点的连接度均为d+3；任意两个节点间的距离最大值为m+d+1；网络的等分宽度为m×2^d+1。

所述的DRH(m，d)网络拓扑结构节点采用如下编码方法，每个节点编码由两部分(A_h，A_d)组成，其中A_d采用m+1位二进制约翰逊码为每个超立方体的编码，A_h采用d位二进制格雷码为超立方体内节点的编码，对DRH(m，d)互连网络拓扑中任意两个节点A(A_m+d，...，A_m+1A_mA_m-1，...，A₁A₀)，B(B_m+d，...，B_m+1B_mB_m-1，...，B₁B₀)，A_i，B_i∈{0，1}，i∈{0，1，...，m+d}，则A，B之间的距离

本发明提出了一种新的简单的可扩展的DR(2m)互连网络结构，结合DR(2m)网络的常数节点度、可扩展性和Hypercube网络的高连接度、短直径、简单的路由策略，发明了一种DRH(m，d)互连网络拓扑结构。本发明将一种新的双环网络拓扑的常数节点度和可扩展性和超立方体网络拓扑的短直径、高连通性和简单的路由策略结合，给出了一种双环超立方体(Double-Ring Hypercube，DRH(m，d))互连网络拓扑结构。该网络拓扑结构具有良好的扩展性和简单的路由算法及其实现。DRH(m，d)拓扑结构的网络规模增大时，网络节点度可以保持常数。在DRH(m，d)内，除了与新增节点相连的节点外，其它节点与连接关系没有任何变动，节点的连接度没有变化，因此，DRH(m，d)网络具有良好的扩展性。DRH(m，d)网络是对称正规互连网络，任意节点的连接度均为d+3；任意两个节点间的距离最大值(网络直径)为m+d+1；网络的等分宽度为m×2^d+1。该拓扑结构是一种适合大规模并行计算的拓扑结构。DRH(m，d)网络拓扑节点可以采用格雷编码和约翰逊编码的混合编码方法，该编码方法进行网络节点编码隐含互连网络的相邻节点和链路信息，使得网络的任意相邻节点的编码有且仅有一位不同并且路由算法设计简单。该互连网络是一种节点度为d+3的正规对称可扩展的互连网络，可以在保持节点度不变进行网络的扩展，网络节点编码可以采用约翰逊码与格雷码的混合编码方法，使得路由算法简单高效。DRH(m，d)互连网络的可分组性和超立方体的可分组性相同，优于Torus的可分组性，是一种适合大规模并行计算的互连网络拓扑结构。

附图说明

图1：DR(2m)互连网络拓扑结构及其节点编码(m＝4)示意图。

图2：d维超立方体互连网络拓扑结构及其节点编码(d＝4)示意图。

图3：DRH(m，d)互连网络拓扑结构(m＝4，d＝3)，为本发明的结构示意图。

具体实施方式

下面结合附图具体详细介绍本发明的具体实施方案。

预备知识

定义1如果一组二进制编码具有如下性质：①任意两个相邻的编码有且仅有一位不同(单位距离性质)；②第一个编码和最后一个编码也有且仅有一位不同(循环性质)。这样的二进制编码称之为二进制单位距离循环码。

定义2对于递减整数序列(n-1，n-2，...，2，1，0)，采用m＝「n/2位的编码表示整数序列的每个值，如果该编码具有定义1的性质并且满足：①当整数k<m时，则k的编码形式为Q＝Z_m-1...Z_kO_k-1...O₀，“Z_m-1...Z_k”代表为全“0”的序列部分，“O_k-1...O₀”代表全“1”的序列部分，并且当k＝0时，Q为m位的全“0”序列；②当整数k≥m时，则k的编码形式为Q＝O_m-1...O_kZ_k-1...Z₀，“Z_k-1...Z₀”代表为全“0”的序列部分；“O_m-1...O_k”代表全“1”的序列部分，并且当k＝m时，Q为m位的全“1”序列。称该整数序列的编码为二进制约翰逊编码。

定义3对于互连网络中的任意两个节点，如果它们两者的节点编码的二进制值当且仅当相差一位时，这样的两个节点称之为相邻节点。

定义4双环互连网络(Double-Ring，DR(2m))是具有下述性质的一种网络拓扑结构：1)由4m个节点和6m条直接链路组成，即由一个2m个节点的内环和一个2m个节点的外环以及内环和外环对应节点连接所构成的平面互连网络拓扑；2)用m位的2m个约翰逊编码标识一个环上的节点，分别加上一位内环或外环的标识码，即用C_mC_m-1，...，C₂C₁C₀对节点编码，内环与外环的对应节点编码只有最高位相反其余位相同；3)节点编码的规则为：当且仅当DR(2m)中两个节点的编码有且仅有一位不同时，两个节点是相邻的，即这两个节点之间有一直接链路。

图1给出了一个m＝4的DR(2m)网络拓扑结构及其节点编码，图中有4×4＝16个节点和6×4＝24条直接链路，相邻节点的编码只有一位不同。DR(2m)互连网络具有正规性、可扩展性、对称性和平面性。

定义5d维超立方体(Hypercube)互连网络是具有下述性质的一种网络拓扑结构：(1)它由2^d个节点和d*2^d-1条直接链路构成；(2)每一个节点可由一个d位二进制格雷码B_d-1B_d-2，...，B₁B₀进行编码；(3)节点编码的规则为：当且仅当两个节点的二进制码有且仅有一位不同时，两个节点是相邻的，即这两个节点之间有一直接链路。

图2给出了一个d(d＝4)维超立方体网络拓扑结构，图中有2⁴＝16个节点和4*2^4-1＝32条直接链路，图中还标识出了节点的编号(分别从0000到1111)。Hypercube网络具有正规性、对称性、短直径等优良特性，但是不具有可扩展性。

定义6节点组的距离：对于一个互连网络N中的一组节点G，节点组G的距离定义为该组中任意两个节点距离的最大值。

定义7最优分组：对于给定的正整数λ，在互连网络N中存在多个包含λ个节点的组，称距离最短的组为包含λ个节点的最优分组，记为G_λ(N)。

定义8可分组性：对于给定的两个互连网络N1和N2，若对于任意正整数λ有G_λ(N₁)的距离≤G_λ(N₂)的距离，则称互连网络N₁的可分组性优于互连网络N₂的可分组性。

双环超立方体互连网络拓扑结构

在本发明中，提出了一种新的双环互连网络拓扑结构(定义4)，该结构具有常数节点度和良好的可扩展性，其节点编码可以采用本发明提出的约翰逊编码(定义2)，使其路由算法实现较简单。本发明将提出的双环网络拓扑的常数节点度和可扩展性和超立方体网络拓扑的短直径、高连通性和简单的路由策略结合，给出了一种双环超立方体(Double-Ring Hypercube，DRH(m，d))互连网络拓扑结构。DRH(m，d)网络拓扑节点可以采用格雷编码和约翰逊编码的混合编码方法，该编码方法进行网络节点编码隐含互连网络的相邻节点和链路信息，使得网络的任意相邻节点的编码有且仅有一位不同并且路由算法设计简单。

定义9双环超立方体(Double-Ring Hypercube，DRH(m，d)，m表示该结构中双环的每个环具有2m个节点，d表示该结构中超立方体的维数)拓扑结构，该拓扑结构由4m×2^d个节点和2^d+1×m×(d+3)条链路组成。DRH(m，d)拓扑结构结合了一种新的双环拓扑结构的可扩展性和常数节点度和超立方体拓扑的短直径、高连通性、对称性、路由简单的优点，使得网络规模增大时，网络节点度可以保持常数。在DRH(m，d)内，除了与新增节点相连的节点外，其它节点与连接关系没有任何变动，节点的连接度没有变化，因此，DRH(m，d)网络具有良好的扩展性。DRH(m，d)网络是对称正规互连网络，任意节点的连接度均为d+3；任意两个节点间的距离最大值(网络直径)为m+d+1；网络的等分宽度为m×2^d+1。对于4m×2^d个节点和2^d+1×m×(d+3)条链路的DRH(m，d)互连网络拓扑：1)首先，2^d个节点连接成d维超立方体网络拓扑结构，共得到4m个d维超立方体，对每个d维超立方体的节点按照超立方体的定义进行编号；2)将4m个d维超立方体中节点编号相同的节点连接成双环(Double-Ring，DR(2m))互连网络拓扑结构，共得到d个DR(2m)，即可得到DRH(m，d)互连网络拓扑结构。该拓扑结构是一种适合大规模并行计算的拓扑结构。

图3给出了m＝4，d＝3的DRH(m，d)互连网络拓扑结构，其中实线表示超立方体的连接，虚线表示DR(2m)连接。DRH(4，3)包含4×4×2³＝128节点，可以看作8个DR(2m)中具有相同编码的节点形成一个立方体结构，也可以看作16个立方体中具有相同编码的节点形成一个DR(2m)结构。

DRH(m，d)网络拓扑结构可以采用如下编码方法，每个节点编码由两部分(A_h，A_d)组成，其中A_d(m+1位二进制约翰逊码)为每个超立方体的编码(即双环的节点编码)，A_d的编码规则按照定义4的方法进行，A_h(d位二进制格雷码)为超立方体内节点的编码，A_h的编码规则按照定义5的方法进行。

由于DR(2m)内节点的编码采用约翰逊码简化了路由算法的实现，但是节点编码位数随着节点的增加而线性增加。我们可以将约翰逊码转换为自然二进制码进行存储，使得它的二进制码的位数和节点数之间是对数关系。对DR(2m)的内环或者外环节点的约翰逊编码(Q_2m-1，Q_2m-2，...Q₂，Q₁，Q₀)，我们可以找出一组连续的m＝「log₂n位的自然二进制码来与之对应：①当Q_p的最高位为“0”时，它的自然二进制码就是把Q_p中含“1”的个数相加所得结果对应的二进制码；②当Q_p的最高位为“1”时，它的自然二进制码就是由m加上“0”的个数所得结果对应的二进制码。根据定义2，可以将自然二进制码转换为约翰逊码。所以，自然二进制码和约翰逊码之间存在一一对应关系。

DRH(m，d)互连网络拓扑结构的性质

DRH(m，d)互连网络拓扑结构具有如下性质：

性质1 DRH(m，d)网络是正规互连网络，任意节点的连接度均为d+3。

由于每个DR(2m)是正规互连网络且节点连接度均为3，根据DRH(m，d)网络的结构易知，把DR(2m)看作一个节点，该网络就是超立方体且节点连接度为d，所以，DRH(m，d)网络是正规网络，节点连接度为d+3。

性质2  DRH(m，d)网络具有良好的扩展性。

可扩展性是指在网络拓扑性能保持不变的情况下，扩充节点的能力，即系统有效利用所增加的处理资源能力的反映，影响网络的路由效率。在DR(2m)内，只要将节点个数就增加4个，整个DRH(m，d)的节点数增加4×2d个。在DR(2m)内，除了与新增节点相连的节点外，其它节点与连接关系没有任何变动。原来节点的超立方体连接关系没有变化，节点的连接度没有变化。

性质3  DRH(m，d)网络是对称网络。

根据DRH(m，d)网络的构造过程易知，该网络中任何节点标识为原点都同构于本身，即从任何节点观察网络都是一样的。简化了路由算法的实现，即路由算法与节点位置无关系。

性质4  DRH(m，d)网络中任意两个节点间的距离最大值(网络直径)为m+d+1。

由于DR(2m)的直径为2m个节点环的直径和两个环之间的距离之和，即为m+1，根据DRH(m，d)网络的结构易知，把DR(2m)看作一个节点，该网络就是d维的超立方体，其直径为d。所以，DRH(m，d)的网络直径为DR(2m)直径和超立方体直径之和，即m+d+1。

性质5 DRH(m，d)网络的成本(链路数)为2^d+1×m×(d+3)。

DRH(m，d)网络的链路数为4m个d维超立方体链路数(2^DRog₂2^d)/2和2d个DR(2m)链路数6m之和，4m×2^d-1×d+2^d×6m＝2^d+1×m×(d+3)。

性质6 DRH(m，d)网络的等分宽度为m×2^d+1。

网络等分宽度是把网络分成两个相等网络时，必须删去的最小通信链路数。是将4m的d维超立方体等分，所以等分宽度为4m×2^d-1＝m×2^d+1。

为了进一步说明DRH(m，d)网络的优良特性，表1给出了DRH(m，d)互连网络和2维Torus、Hypercube互连网络的对比，其中N＝4m×2d。

表1 三种静态网络的性能特征

如果互连网络N₁的可分组性优于N₂的可分组性，则利用G_λ(N₁)作为一组计算节点的通信开销就小于G_λ(N₂)作为一组计算节点的通信开销，因此考虑互连网络的可分组性具有重要意义。根据DRH(m，d)的构造过程及定义6、定义7和定义8，DRH(m，d)，Torus和Hypercube的最优分组距离分别为式(1)～(3)。

$d\left(G_{\mathrm{\&lambda;}}\left(\mathrm{Torus}\right)\right)=2\left(|\sqrt{\mathrm{\&lambda;}}-1|\right)\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(1\right),$

性质7 DRH(m，d))的可分组性和超立方体的可分组性相同，优于Torus的可分组性。

由式(1)和式(3)可知，当λ≤6时，d(G_λ(Torus))＝d(G_λ(DRH))，因此只要λ>6时结论成立即可。构造函数 $f\left(\mathrm{\&lambda;}\right)=\log 2\mathrm{\&lambda;}-2\sqrt{\mathrm{\&lambda;}}+2,$ $f\&prime;\left(\mathrm{\&lambda;}\right)=1/\left(\mathrm{\&lambda;}\ln 2\right)-1/\sqrt{\mathrm{\&lambda;}}=(1-\sqrt{\mathrm{\&lambda;}}\ln 2)/\mathrm{\&lambda;}\ln 2,$ 当λ>6时，f′(λ)<0，可知f(λ)单调递减，即d(G_λ(DRH))<d(G_λ(Torus))。

DRH(m，d)网络拓扑结构采用了格雷编码和约翰逊编码使得网络拓扑具有了以下良好的性质。

性质8 对DRH(m，d)互连网络中任意两个节点A(A_m+d，...，A_m+1A_mA_m-1，...，

由DRH(m，d)互连网络的拓扑结构和节点编码易知每个DR(2m)的编码是格雷编码，两个DR(2m)编码的格雷码有且仅有一位不同时对应节点之间有直接链路，DR(2m)内两个节点编码有且仅有一位不同时是相邻节点，所以，整个网络中两个节点编码之间有且仅有一位不同时是相邻节点。超立方体节点编码采用格雷编码且两个节点之间有且仅有一位不同时是相邻节点，在超立方体中任意两个节点之间的距离是两节点编码不同位数之和，即汉明距离。所以DRH(m，d)互连网络中任意两个节点之间的距离为两个DR(2m)编码的不同位数和DR(2m)内节点编码的不同位数之和。

由上述性质可知，DRH(m，d)互连网络具有较好的拓扑性质和通信性能。

DRH(m，d)互连网络上的路由算法

路由算法是影响并行计算效率的重要因素。这里我们主要对单播路由算法及性能进行分析。

DRH(m，d)网络的单播路由算法

假设节点S(S_m+d，...，S_m+1S_mS_m-1，...，S₁S₀)向节点D(D_m+d，...，D_m+1D_mD_m-1，...，D₁D₀)发送数据。由DR(2m)节点的编码方法和DRH(m，d)互连网络的构造过程可知，DRH(m，d)任意相邻节点编码有且仅有一位不同，该节点编码隐含了全局的路由信息。源节点(S)与目的节点(D)的距离则为d＝Hamming(S

D)，其中“

”代表S和D进行位异或运算，“Hamming”函数代表把S和D异或后“1”的个数相加运算，即结果为汉明距离。路由过程如下：

①如果S和D在同一个DR(2m)中，那么由定义4、定义5和定义9可知，S节点和D节点的超立方体编码是相同的，即Hamming(S_m+d，...，S_m+1

D_m+d，...，D_m+1)≡0，只要进行S_T＝S_mS_m-1，...，S₁S₀，D_T＝D_mD_m-1，...，D₁D₀的DR(2m)内路由。由定义4可知，S_T节点与相邻节点编码只相差一位，它的两个同环相邻节点编码分别为 $S_{T1}={S_m}^{\stackrel{\&OverBar;}{S_0}}{S}_{m-1},...,S_2{S}_1,$ $S_{T2}=S_m{S}_{m-2}{S}_{m-3},...,{S_0}^{\stackrel{\&OverBar;}{S_{m-1}}},$ 一个异环相邻节点编码为 $S_{T3}=S_{m-1}^{\stackrel{\&OverBar;}{S_m}}{S}_{m-1}{S}_{m-2},...,S_1{S}_0,$ 那么相邻节点与D的距离为 $d_{T1}=\mathrm{Ham}\min g(S_{T1}\&CirclePlus;D_T),$ $d_{T2}=\mathrm{Ham}\min g(S_{T2}\&CirclePlus;D_T),$ $d_{T3}=\mathrm{Ham}\min g(S_{T3}\&CirclePlus;D_T).$ 如果d_T3≡0，dmin＝d_T3，否则dmin＝min{d_T1，d_T2}，再将包发送到dmin所对应的相邻节点并且将S修改为该DR(2m)内相邻节点的编码，然后计算d值，如果d≡0，那么S标识的节点即为目标节点，否则重复该过程。

②如果S和D在同一个Hypercube中，那么由定义4、定义5和定义9可知，S节点和D节点的DR(2m)内编码是相同的，即 $\mathrm{Ham}\min g(S_m{S}_{m-1},...,S_1{S}_0\&CirclePlus;D_m{D}_{m-1},...,D_1{D}_0)\&equiv;0,$ 只要进行S_H＝S_m+d，...，S_m+1，D_H＝D_m+d，...，D_m+1的超立方体路由。F＝1_m+d0_m+d-1，...，0_m+20_m+1。路由过程如下：首先计算 $R=S_H\&CirclePlus;D_H,$ Q＝R&F(“&”代表R和F进行位与运算)，如果Q≠0，那么 $S_H=S_H\&CirclePlus;Q,$ 将包发送到SH标识的节点，否则将F右移一位，重复该过程，直到F为全“0”序列。

③如果S和D既不在同一个Hypercube中，也不在同一个DR(2m)片中，是任意的两个节点，那么首先按①的方式将数据包路由在同一个Hypercube中，即到达节点S(S_m+k+d-5，...，S_m+kD_m+k-1，...，D_mD_m-1，...，D₁D₀)，然后按②的方式将包路由到目的节点D。

算法性能分析

DRH(m，d)的路由算法主要优点是网络节点采用了格雷码和约翰逊码的混合编码方法，使得任意两个节点编码异或所得“1”的个数即为两个节点间的最小距离，并且该编码隐含了全局的路由信息和相邻节点间的关系。使得网络节点转发数据时，只要存储当前节点和目的节点的编码就可以正确的路由数据。

根据DRH(m，d)单播路由算法，数据在DR(2m)中传播最坏情况下需要m+1轮通信操作，在同一个Hypercube中传播最坏情况下需要d轮通信操作，因此，最坏情况下总共需要m+d+1轮通信操作。算法能沿着越短的路径将数据从源节点发送到目的节点，算法的通信效率就越高。以上单播路由算法的每一次转发数据是按最短路径进行的，所以，最坏情况下，路由的路径不会超过网络的直径m+d+1。

Claims (2)

1、一种基于超立方体的可扩展并行计算互连网络拓扑结构，称之为双环超立方体(Double-Ring Hypercube，DRH(m，d))拓扑结构，其特征在于：该拓扑结构DRH(m，d)由4m×2d个节点和2^d+1×m×(d+3)条链路组成，对于4m×2^d个节点和2^d+1×m×(d+3)条链路的DRH(m，d)互连网络拓扑由下述部分构成：1)首先，2^d个节点连接成d维超立方体网络拓扑结构，共得到4m个d维超立方体，对每个d维超立方体的节点按照超立方体的定义进行编号；2)将4m个d维超立方体中节点编号相同的节点连接成双环(Double-Ring，DR(2m))互连网络拓扑结构，共得到d个DR(2m)，即可得到DRH(m，d)互连网络拓扑结构，DRH(m，d)拓扑结构是对称正规互连网络，任意节点的连接度均为d+3；任意两个节点间的距离最大值为m+d+1；网络的等分宽度为m×2^d+1。

2、如权利要求1所述的一种基于超立方体的可扩展并行计算互连网络拓扑结构，其特征在于：所述的DRH(m，d)网络拓扑结构节点采用如下编码方法，每个节点编码由两部分(A_h，A_d)组成，其中A_d采用m+1位二进制约翰逊码为每个超立方体的编码，A_h采用d位二进制格雷码为超立方体内节点的编码，对DRH(m，d)互连网络拓扑中任意两个节点A(A_m+d，...，A_m+1A_mA_m-1，...，A₁A₀)，B(B_m+d，...，B_m+1B_mB_m-1，...，B₁B₀)，A_i，B_i∈{0，1}，i∈{0，1，...，m+d}，则A，B之间的距离 $d(A,B)=\underset{i}{\mathrm{\&Sigma;}}{A}_i\&CirclePlus;B_i.$

Images